慶歷初張伯玉以秘書丞知并州太谷縣時，范仲淹推薦應(yīng)賢良方正能直言（《范文正集》卷一八《興趣張伯玉應(yīng)制科元》）。至和中通判睦州，時年三十，后遷知福州，移越州、睦州。

張伯玉不但嫻熟吏治，而且擅長文學。張伯玉詩，據(jù)《嚴陵集》、《會稽掇英總集》等書所錄，編為二卷。

張伯玉在任期間，號召百姓按戶種植榕樹，福州出現(xiàn)“綠陰滿城，暑不張蓋”的景象。所以福州別名榕城。