只是牛永才要帶牛李氏去上任，楊家便有些不同意，若是牛李氏離開了江寧縣，到時候牛永才翅膀硬了，楊家哪里管的住。雖然有牛永新在，但楊家并沒有把牛永新放在眼里，只想留住牛永才最孝順的老母牛李氏下來。

而楊氏不在愿意跟牛永才去受苦，又見不得牛永才帶妾去，最終在楊縣令的發(fā)令之下，才不甘不愿地跟牛永才離開。楊氏帶走二女兒牛如萍，舍不得大女兒牛如娟跟去受苦，又顧著小女孩牛如麗身體不好，便把大小女兒才最留在了楊家。