然而，命運的轉折卻在他七歲那年到來，父親因外出考察產業(yè)，在途中遭遇山賊，不幸遇難，母親知道消息后悲痛過度，不久后也追隨父親而去。何家的產業(yè)也因父親的離世而逐漸衰敗，從此家中無了主心骨，留下他一個幼子也挑不起大梁。

可是瘦死的駱駝比馬大，何家在多年經營下仍有不少積蓄，終究引起了周遭人的覬覦。不久之后，何家被誣陷參與了違背律法的生意，家中產業(yè)被官府沒收，他也從此淪為了罪戶之子，從此與科舉之路絕緣。