《世說》記載謝安事略多至一百十余則，雅量篇有一則傳誦最廣，即謂棋局間聞淮上報捷而“意色舉止，不異于常”云云，《晉書》本傳又演繹為圍棋賭墅、喜甚折屐的故事。

王右軍與謝太傅共登冶城。謝悠然遠想，有高世之志。王謂謝曰：“夏禹勤王，手足胼胝；文王旰食，日不暇給。今四郊多壘，宜人人自效；浮文妨要，恐非當(dāng)今所宜?！敝x答曰：“秦任商鞅，二世而亡，豈清言致患邪？”