张美年轻时善于做会计工作，起初担任库房小吏，以精明强干闻名。后经三司（五代至北宋时，以盐铁、户部、度支为三司）推荐，特补任本库专知，成为库房的主管。
后来，张美出任为澶州（今河南清丰西）粮料使。当时后周太祖郭威皇后柴氏的侄子柴荣率兵镇守澶渊，每逢粮草缺乏时，柴荣就向张美求取，张美就私自供给他。后周祖宗听说后大怒，准备派人去斥责张美，又恐怕伤害柴荣的脸面，于是就将张美调往濮州，担任马步军都虞侯。
显德元年（954年），后周太祖去世，柴荣继承帝位，是为后周世宗。后周世宗继位后，就把张美召回京师，任命他为枢密院承旨。主管三司的宰相范质患病期间，后周世宗任命张美为右领军卫大将军，并暂且代替宰相判决三司之事，当时，张美已成为既有兵权，又掌管筹划国家财政的要员。
后周世宗率兵亲征淮南时，把张美留在京城，任大内部署。一天，张美刚刚上床和衣而卧，正在似睡非睡之际，忽觉心跳异常，不由大吃一惊，急忙起身走出卧室，在宫城中巡视。一会儿，忽见内酝署起火。因张美心细，对灭火之事早有准备和安排。他即刻就派人把火扑灭，才使宫城中免去一场火灾，没造成多大损失。不久，后周世宗南征获胜，班师回朝后，正式授任张美为三司使。
显德四年（957年），后周世宗巡视淮南，留张美在京城，任大内都点检。后周世宗亲自率兵北征辽国时，仍留张美在京城，任大内都部署。班师回朝后，授任张美为左监门卫上将军，充任宣徽北院使，主管三司。
张美办事能力较强，很有心计，能全面理解事情的利弊。张美每次向后周世宗上奏章的治理改革方案都有根有据，条理分明，经常得到后周世宗的认可，并予以执行。张美常以办事干练敏捷被人称道。后周世宗连年南征北讨，其粮草、军饷从未缺乏，都是全凭着张美运筹帷幄的筹划之功。因此，后周世宗对他深为依赖。但张美在澶渊时作假逢迎，后周世宗非常看不起他，张美也自感惭愧。显德六年（959年），后周世宗去世，其子后周恭帝柴宗训继位，加任张美为检校太傅。
公元960年，宋太祖赵匡胤陈桥兵变，篡周归宋后，张美又被宋太祖加封为检校太尉。
宋初，昭义节度使李筠镇守上党。他在那里召募亡命之徒，多为不法之事，日渐倔强难以制止。张美已预料到李筠日后必然会叛变大宋，他就在怀州、孟州之间屯积粮草，以备战争之需。后来，李筠果然叛变，宋太祖赵匡胤亲自率兵征讨，十万大军出太行，经费无缺，全赖张美有先见之明。
宋太祖得胜还朝后，深感张美之功，封他为定国军节度使，镇守同州。
当时，朝廷让民人向关中贩卖木材，同州每年都拿出数十万缗（一缗为一千文铜钱）铜钱，借贷给民间贩木商人。长史向他们索要十分之一的红利，称之为率分钱。每年都能得钱数百万之多，惟独张美分文不取。不久，其他州郡有人向朝廷告发长史接受率分钱之事，朝廷命令他们一律偿还。张美也因此以廉洁闻名，受到朝廷的嘉奖和人们的颂扬。
乾德五年（公元967年），张美移镇沧州。公元976年，宋太宗赵光义登位之后，改年号为太平兴国元年。他把张美调回朝中改任左绕卫上将军。张美回京后，向朝廷献出自己在京城中的西河曲湾果园二处、蔬圃六处、亭舍六十余所。太平兴国八年（公元983年），张美告老辞职，雍熙二年（公元985年），与世长辞。他死后，被宋太宗追赠谥封号为“恭惠”。他的儿子张守瑛，官至供备库使。孙子张士宗官至内殿承制；张士禹为崇班；张士安为阁门祗侯；张士宣为礼殿副使。