劉瓌之子，初任南梁武陵國常侍。552年（西魏廢帝元年），南梁宜豐侯蕭循（蕭脩）以梁州投降西魏。劉行本和叔父劉璠也歸順西魏，寓居京兆郡新豐縣。北周大冢宰宇文護召他為中外府記室。武帝親政，轉任御正中士，兼起居注，累進掌朝下大夫。周宣帝即位，劉行本勸諫宣帝忤旨，外任河內郡太守。
580年（大象二年）、尉遲迥作亂進攻懷州，劉行本率吏民抗敵，以功受位儀同，受爵文安縣子。581年（開皇元年），隋朝建立，劉行本被召為諫議大夫，檢校治書侍御史。轉任黃門侍郎。
數年後，兼任治書侍御史，又任太子左庶子。經常勸諫皇太子楊勇。後來以太子左庶子兼大興縣令，在官任上去世。楊勇被廢時，隋文帝嘆道：「如果劉行本健在，勇兒應該不會落得如此下場。」