張氏兄弟于她而言，的確是故人，卻并無什么美好的回憶，所以繼承了張氏兄弟美貌的楊釗對她來說，從第一眼開始就失了好感。

但她沒想到，李林甫會瞧上楊釗，不僅親自任命楊釗為監(jiān)察御史，還頗有要將他納入麾下的架勢。當她發(fā)現的時候，已經是天寶五載的年末，太子宣告與杜良娣和離之時。

此事源于民間的一些流言，說太子的岳父、杜良娣之父杜有鄰交結太子，誹謗皇帝。這種流言若出現在平日也就罷了，偏偏是在韋堅與皇甫惟明事件發(fā)生之后不久，李隆基正敏感的時候。