初受学于王柏，后受学于何基，基为朱熹二传弟子，造诣益深。时值南宋末年，政治动荡，虽绝意仕进，但未忘忧国。元兵围攻襄樊，履祥献策朝廷，建议以重兵由海道直趋燕蓟，且备叙海舶所经地形，历历可据以行，然未被采纳。曾任教于严陵(今浙江省桐庐县)“钓台书院”。他少有有经世志；及壮，宗济、洛之学，穷究义理，本宋儒；德祐初年，朝廷以迪功郎、史馆编校等职召任，坚辞不受。寻应严州知州聘，主讲钓台书院。宋亡入元，不仕，专意著述，晚年筑室隐居金华仁山下，讲学于丽泽书院，以淑后进，许谦、柳贯皆出其门，为浙东金华学派中坚，学者尊称为仁山先生。元大德七年(1303)卒，至正年间谥文安。著有《通鉴前编》、《大学章句疏义》、《尚书表注》、《论语集注考证》、《孟子集注考证》、《举要》、《仁山文集》等。 编有《濂洛风雅》。