羊衜的前妻是孔融的女兒，續(xù)妻蔡貞姬是蔡琰的姐姐，女婿是大名鼎鼎的晉景帝司馬師。他與蔡貞姬育有二子一女，除長子羊承早夭，剩下的一子一女分別是西晉太傅羊祜和景獻皇后羊徽瑜，也就是司馬師的續(xù)妻。

說到這里，不得不提的一點就是羊祜的身世之謎。

首先是羊衜的父親羊續(xù)，他在公元186年成為南陽太守，逝世于公元189年。在此期間，羊續(xù)最為出名的故事就是懸魚太守和羊續(xù)拒妻。羊續(xù)的妻子帶著兒子來南陽尋他，他因為家徒四壁，無任何財產(chǎn)，拒絕見妻子，還將他們攆回了老家。