黄氏去世后的第二年，顾之衍就娶了继妻刘氏。
顾之衍继娶刘氏前，顾家的祖宅除了当年在分家时，划分出去给三房的以外，余下由大房继承的，或租或售，早已经被分割得七零八落。
黄氏去世后，顾之衍自然没有能力继续在世家官宦之女中选择填房。最后娶的便是刘氏，一个小商户之女。
刘氏嫁给顾之衍之前，先后订过两次亲。头一次是指腹为婚订的娃娃亲，结果对方长到七、八岁时便夭折了，这门亲事自然作罢；第二次订亲之后不到一年，男方就因意外身故。
刘氏因此背上了“克夫”的名声，一直在闺中待到快二十岁也没有能够嫁出去。直到有人前来说合让刘氏嫁去顾家大房给顾之衍做填房，刘家的人便不假思索应下了这门亲事。
顾之衍身无长物，无功名官职在身，也不懂营生，自然赚不了银子，都是在靠着祖产坐吃山空。当祖产被挥霍得差不多后，顾家大房的日子也日益艰难。
事实上，在宋夏朝的世家谱系中，顾家已经被彻底除名。虽然在民间坊肆，有的时候也还能听见有人说一嘴关于顾家的八卦，但都无一不在前面加上诸如“当年”、“曾经”、“没落的”之类的定语或者状语。
刘氏嫁给顾之衍时，也带了一些嫁妆。当顾之衍要求刘氏把嫁妆拿出来贴补家用时，刘氏不干了，直接就要发卖顾之衍的两房姨娘。
“呸！老娘这里的嫁妆银子才不会给你养婊子！想从老娘这里拿到银子，趁早把那两婊子打发走！”刘氏指着顾之衍的鼻子，跳着脚嚷道！
顾之衍的脸色一会儿青一会儿紫，异常难看，“她俩好歹也跟了我这么多年，你就这样容不下她们？”
“我呸！留不留那两婊子是你的事，与老娘我何干？只是要留下她们你就自己拿银子养！你休想来打我嫁妆的主意！老娘我不会替你养婊子！”刘氏耍泼。
顾之衍到底争吵不过刘氏，最终也没有能够从刘氏那里抠出哪怕是一文钱来。
不久后，刘氏怀上身孕，十月怀胎生下了一个儿子，这便是顾锦行与顾安鸿和顾安飞的同父异母的弟弟顾安简。
生下顾安简后，刘氏把嫁妆看得更紧，并且为了省银子，除了只留孩子的奶娘和