他祖籍河北涿州，整個家族世代為官。

高祖趙朓是永清、文安、幽都的大官，曾祖父趙珽做過藩鎮(zhèn)的地方官兼任御史中丞，祖父趙敬是營州、薊州、涿州三州的刺史，父親趙弘殷驍勇善戰(zhàn)，后被留在禁軍任職。

后來，趙弘殷娶杜氏為妻，杜氏第一胎生了一個男孩兒，取名匡濟，不幸夭折了，第二胎又生了個男孩兒，就是香孩兒。

“這些人，現(xiàn)在都太會搞了！”