从征鲜卑，每战必身先士卒，及克广固，怀慎率所领先登。从高祖距卢循于石头，屡战克捷，加辅国将军。义熙八年，以本号监北徐州诸军事，镇彭城，寻加徐州刺史。为政严猛，境内震肃。九年，亡命王灵秀为寇，讨平之。十一年，进北中郎将。以平广固、卢循功，封南城县男，食邑五百户。十三年，高祖北伐，以为中领军、征虏将军，卫辇毂。坐府中相杀，免官。虽名位转优，而恭恪愈至，每所之造位任不逾己者，皆束带门外下车，其谨退类如此。
宋台立，召为五兵尚书，仍督江北淮南诸军、前将军、南晋州刺史。复征为度支尚书，加散骑常侍。高祖迁都寿春，留怀慎督北徐兖青淮北诸军事、中军将军、徐州刺史。以亡命入广陵城，降号征虏将军。永初元年，以佐命功，进爵为侯，增邑千户。进号平北将军。征为五兵尚书，加散骑常侍，光禄大夫。景平元年，迁护军将军，常侍如故。特赐班于宗族，家无余财。二年卒，时年六十一。追赠抚军，谥曰肃侯。
子德愿嗣。