也就在临了的时候，刘老太爷一方面感受到了小儿子的孝心，心中甚慰；另一方面也感受到了小儿子的恐慌，这时候才突然意识到自己为小儿子谋划的一切真的对他好吗？但是刘老太爷不想承认自己的失败，突然萌生了把大儿子软禁起来的念头，以便小儿子能够顺利平稳的接过家主之位，等到小儿子已经牢牢掌握家主之位的时候，再把大儿子放出来。
刘老太爷的念头一发便不可收拾，最终引发了一场悲剧。若是刘老太爷没有这个念头，就算小儿子和大儿子争夺家主之后失败后，两人顶多是心中有隔，大儿子也不会把小儿子怎么着，小儿子凭着刘老太爷给他的私产照样过富家翁的生活。
刘老太爷借着大儿子去城外农庄盘查粮食的机会，命人把大儿子软禁在了农庄，然后以迅雷不及掩耳之势宣布把家主之位禅让给自己的小儿子。
关于现任家主对下一任家主的任命，唯一有权干涉的就是家族长老会，但是刘家一半以上的长老都被刘老太爷打点过了。虽然反对的声音很多很大但是起不了实质性的作用，这条任命还是被长老会执行下来了。
本来大家都以为一切已经成了定局的时候，太原城却发生了一件起初微不足道后来却足以致命的事件，后来的刘家人把这个事件称为家族的耻辱，而且刻在了宗庙之内，警示教育后代刘家人。这件事的导演者正是老二刘守成，一个看起来老老实实不偏不倚的人。
太原郡的衙役们一日巡街时抓获一名四十多岁的男子，此名男子当时正在一偏僻处奸淫一名妇女，正好被撒尿衙役们撞见，于是，衙役们毫不客气把这名男子抓进了大牢。
在严厉的刑法之下，这名男子供出了自己二十多年的犯下的种种罪行，其中大多数都是奸**女。狱卒们也是闲的无聊，没事就听那名男子讲述自己二十多年的采花经验，本来只是当成笑料乐呵一下，不曾想那名男子越说越离谱，甚至连太原城内一些有名的大家小姐、小妾什么的都有涉猎。
狱卒们不敢在听了，而是让那名男子把自己所犯的罪行写了下来，然后上交给了太守府。太守刘守成在翻阅时无意间发现了这名男子招供在二十年前曾尾随一名从刘府出来的小妾，然后趁着无人的时候奸淫了那名小妾，根据男子的描述，这名小妾正是刘守业的生母刘陈氏。
吃惊之下，刘守成很快就把这件事搞得刘家上上下下都知道了，所有人都在议论纷纷这件事是否是真的，有人相信有人不相信，相信的原因很简单五十多岁了怎么可能还会生孩子，不相信的原因则是看出了这是老大和老三之间的争斗。
刘老太爷本来就已经病重，听了谣传之后更是盛怒之下昏了过去，醒来的第一件事是让刘守成把牢中的那名男子提出来当面质问，结果刘守成回答那名男子畏罪自杀了。刘老太爷这才明白老二已经站在了老大那边。
更没想达到的是，刘守业的生母因为谣传而自杀了，反正刘守成是这样告诉刘老太爷的。爱屋及乌，刘老太爷本来就对刘张氏喜欢，又因为对小儿子的喜欢对刘张氏更加喜欢，听说刘张氏自杀之后，刘老太爷又昏迷了过去，然后就再也没有醒过来。
刘家办完刘老太爷的丧事之后，家族内开始出现在一种刘守业是野种的说法不再适宜当家主，很快长老会就通过了这一决定，家主改由老大刘守仁担任，刘守业则是被当做野种赶出了刘府，并且被没收一切财产。
恰恰此时，刘守业的妻子独孤氏有了身孕。独孤氏跟着刘守业出了刘府之后，劝自己的丈夫先跟自己回关中然后再作打算，然而刘守业此时已经变心灰意冷，对疼爱自己的父亲有一种深深的愧疚感，在离父亲陵墓不远处的小山脚下搭了一间茅屋。
夫妻二人就这样在艰苦的坏境下生存了下来，但是老大并没有因此心软。虽然不敢明目张胆加害自己名义上的三弟，但是却屡次暗中派出刺客欲取刘守业性命，幸亏有刘老太爷生前为其挑选的几名亲身侍卫以命相护，才得以使夫妻二人安安全全地把孩子生下来，而且是一对男双胞胎。
几名亲身侍卫的武功即使在高也无法躲避接二连三的暗算和阴谋，一年下来刘守业身边的忠心的侍卫仅剩下一人。此人名叫蒙方，乃是当年刘老太爷在返乡途中所救，武功高强而且颇有谋略，于是刘老太爷就让他做了小儿子的亲身护卫。
在妻子和蒙方两人的共同劝解之下，刘守业终于下定决心跟妻子先回关陇，但是，在动身离开的那天，刘守业提出最后一次祭拜父亲，二人也不好拒绝。