据《新唐书·宰相世系表》知其父官职卑微,仅为洪洞县丞。张说为文运思精密,年轻时很有造诣。垂拱四年(688年),武则天策试贤良方正,亲临洛阳城南门主考,张说应诏对策为天下第一。武则天以为近古以来没有甲科,张说遂屈居为乙等,授任太子校书,迁左补阙。
长安初年(701年),诏令张说与徐坚等人撰修《三教珠英》,由麟台监张昌宗及成均祭酒李峤总领此事。昌宗不学无术,只是广引文词之士,高谈阔论,“历年未能下笔”。唯张说与徐坚“构意撰录,以《文思博要》为本,更加《姓氏》、《亲族》二部,渐有条流”
张说有才智,但脾气暴躁,又好受人贿赂。百官凡奏事有不合他心意的,“好面折之,至于叱骂”,所以与同僚的关系不甚融洽。开元十四年(726年)二月,玄宗召回河南尹崔隐甫,欲授任要官,张说却认为他不通文学,遂奏请拟任金吾大将军;前殿中崔月用与张说关系密切,便推荐他为御史大夫。玄宗拒绝了他的意见,即以隐甫为御史大夫,隐甫心里怨望张说。
御史中丞宇文融,曾建议检括天下游户及籍外占田,设置十道劝农事,分行郡县督责检查,张说担心扰民,屡次从中阻止。这时,宇文融又请求吏部设立十铨,与苏颋等分管选举
君不见魏武草创争天禄,群雄睚毗相驰逐。
昼携壮士破坚阵,夜接词人赋华屋。
都邑缭绕西山阳,桑榆汗漫漳河曲。
城郭为墟人代改,但见西园明月在。
邺旁高冢多贵臣,蛾眉曼睩共灰尘。
试上铜台歌舞处,惟有秋风愁杀人。