早年经历
辛仲甫年少好学，年长后，能办吏事，姿仪雄伟，气质沉厚。
后周广顺年间，郭崇掌管禁军，兼任武定节制，署任辛仲甫为掌书记。显德初年（公元954年），郭崇出京镇守澶渊，仍署任他原职。郭崇亲信的官吏任厢虞候，州民有人被劫杀，声明暗地认得贼首，就是捕盗吏，官府不敢追问。辛仲甫要求由自己来逮捕此人，审讯他，狱吏却故意拖延案件处理，辛仲甫说：“百姓被寇贼伤害而让他自己诬服自己，政治太败坏了，哪里用得上僚佐呢？”要求换个官吏为那人雪冤。郭崇醒悟，改人审讯，才得到实情。郭崇移任镇守真定，改任他为深、赵、镇观察判官。
宋太祖受命即位，任命郭崇为监军，陈思诲密奏郭崇有阴谋，宋太祖又怒又疑，派中使骑马前去验看。中使还未到，郭崇忧虑得不知所措，对宾佐们说：“假使朝廷使者不察真情，怎么办呢？”宾佐们都愕然相视。辛仲甫说：“皇帝接受天运时，你最先效忠，军政民政的处理，都遵循常例，怎么能找到借口加害你呢？只管远远侦察使者，率领僚属举行郊行礼，听任他观察，时间长了会自然辨明的。”郭崇照此办理。使者到后，看见郭崇并无他意，回朝上奏，宋太祖非常高兴，归罪于陈思诲。辛仲甫又跟随郭崇任平卢军节度判官。郭崇死后，改任郓、齐观察判官，多次为百姓雪洗冤屈。
步入京官
乾德五年（公元967年），辛仲甫入朝任右补阙，出京任知光州。州里有条横河与州城平行，正遇暴雨成灾，洪水冲毁房舍。辛仲甫征集数百艘船只，军队资产、百姓储备，都赖以救出。
乾德六年（公元968年），改任知彭州。州卒引诱营兵及屯戍兵，阴谋在长春节宴集这天作乱。当时是初春，辛仲甫出城巡视，见壕中草深，料想可能有藏伏，命令烧掉了。凶党怀疑阴谋泄露，有人出来自首。捉拿一百多人，全部杀掉。从前州中很少种树，热天没有地方歇凉休息。辛仲甫督促百姓栽种柳树为大路遮荫，郡里百姓感激他，取名为“补阙柳”，宋太祖询问大臣中文武兼备者是谁，赵普回答是辛仲甫。改任辛仲甫为益州兵马都监，换任回朝，选为三司户部判官。
出使契丹
太平兴国初年（公元976年），升任起居舍人，奉命出使契丹。辽主问他：“党进是怎样的人？像党进这样的有几个？”辛仲甫说：“国家名将辈出，像党进只是鹰犬般的材料而已，何足道哉？”辽主想留住他，辛仲甫说：“守信用以完成使命，义不可留，只有死路而已。”辽主竟不能使他屈服。出使回来，以刑部郎中身份知成都府。到任后，上奏免去每年输送铜钱，罢除沽酒的专卖制度，政事崇尚宽简，蜀人得到安宁。
太平兴国八年（公元983年），加任右谏议大夫。当时彭州盗贼连结为害，诏令捕捉没有捉到。辛仲甫诱令自首到官府的共一百多人，其余的人散去。
换任回朝
太平兴国九年（公元984年），入京任知开封府，授任御史中丞。雍熙二年（公元985年），授任给事中、参知政事。端拱年间，进位户部侍郎。当时吕蒙正因长厚任宰相，王沔主持政事，辛仲甫在他们之间从容行事而已。
淳化二年（公元991年），因足病罢相任工部尚书，出京任知陈州。换任回朝，正遇蜀地有寇情，朝廷以辛仲甫历来有恩信，令他坐车急去招抚，因为有病未去。不久，以太子少保衔退休。宋真宗即帝位，加太子太傅衔。咸平三年（公元1000年），去世，终年七十四岁，追赠太子太保。