慶歷初張伯玉以秘書(shū)丞知并州太谷縣時(shí)，范仲淹推薦應(yīng)賢良方正能直言（《范文正集》卷一八《興趣張伯玉應(yīng)制科元》）。至和中通判睦州，時(shí)年三十，后遷知福州，移越州、睦州。

張伯玉不但嫻熟吏治，而且擅長(zhǎng)文學(xué)。張伯玉詩(shī)，據(jù)《嚴(yán)陵集》、《會(huì)稽掇英總集》等書(shū)所錄，編為二卷。

張伯玉在任期間，號(hào)召百姓按戶種植榕樹(shù)，福州出現(xiàn)“綠陰滿城，暑不張蓋”的景象。所以福州別名榕城。