桓溫父親桓彝是江左八達之一，曾與晉明帝密謀平定王敦之亂，使得家族地位有所上升。

桓溫為人豪爽，姿貌偉岸，風度不凡，后娶南康長公主為妻，加拜駙馬都尉，并襲父爵為萬寧縣男。咸康元年（335年），桓溫出任瑯琊內(nèi)史，后加輔國將軍。建元元年（343年）七月，朝廷以桓溫為前鋒小督、假節(jié)，讓他率部據(jù)守臨淮（今江蘇盱眙），協(xié)助荊州刺史庾翼北伐。同年十月，桓溫升任徐州刺史，并都督青徐兗三州諸軍事。