大概為了讓多疑善猜忌的天佑帝放心，杜家人走的十分乾脆，所有在京在外地為官為吏的族人全部辭官歸故里，回到了遙遠偏僻荒涼的雲州。
走之前把京城的宅子產業一併賣光，此後與京中的出嫁女和姻親故舊全部斷絕關係，生死不問，再無任何往來。
杜家從此再沒了前途可奔，族人只做富貴閒人混日子，老祖也成了閒雲野鶴，甚至迷上修行問道。
雖然天佑帝並未明說不許杜氏科舉，但是杜家人沮喪沉淪之後，雖然仍舊辦了族學，卻對子弟的學業放任自流，子弟也漸漸遊手好閒，安心做富貴閒人，有出息的越來越少。
幾代下來，也有天資聰穎喜讀書的，考中舉人之後也自覺放棄了科舉做富貴閒人，比如杜至謙，這也是他後來冒著抄家滅族的風險投奔柴諾父子的根本原因。
葉婉雲出生在西南之地的葉氏家族，早已家族沒落人丁調零四處散居。
幸好其父善於打理庶務，母親出身商戶嫁妝頗豐，一家人倒也豐衣足食，只是不時要應付上門打秋風的親戚族人。
三歲時葉父葉母先後病故，又沒有什麼可靠的族親，只有奶孃林媽一家不離不棄，卻因為奴才身份無法對抗想謀奪家產的族人。
幸好還有一個嫡親的姑母，不但想方設法保全了家財給她做嫁妝，還把她帶到夫家肖氏家族撫養。
姑父肖文軒出身富紳之家，為人磊落大度，姑母待她如同親生，還有父母留下的財產，又有林媽一家照料，婉雲的日子還算舒坦。
可是姑父家中父母健在，與三個兄弟同居一府，還有兩個嫁得近的姐妹，人丁興旺族親眾多奴僕成群，這些人對婉雲這個孤女的想法和態度就很多很複雜了。
所以她從小就很有寄人籬下的自覺，再加上林媽的悉心教導，自幼便十分乖巧懂事。
在她七歲時肖文軒宦遊至雲州，金釵之年的表姐已經訂親，表兄學業不能耽誤，就隨祖父母留在族中，只帶著她與襁褓中的小表弟上任。
杜至謙的父親與肖文軒一見如故成為好友。
一個一身才華又沒有前程可以奔赴，一個遠離故交親朋常感寂寞無聊，就意氣相投時常相聚。
因為妻子常年病弱，杜父經常帶著獨生子杜至謙一起去肖家做客。
