胡生前曾为其阵亡将士在郑州西郊建冢而葬，后来又在西太康路觅地建祠，选中了老坟岗这片宝地。当时的祠堂规模很小，即现胡公祠大殿西边位置，老郑州人亦称之为胡公祠。当年的小院已经在1981年被全部拆除。胡去世后，祠并未扩建，8年后至民国廿一年（1932年），冯玉祥、张群、张继等为纪念胡在河南及郑州的战斗业绩，力主建祠。1936年秋，历时4年建造的胡公祠终于完工，占地23亩，有殿、亭，并有一塑像，翠柏红垣，古色古香，为郑州当时一景。
郑州解放后，胡公祠曾作为人民公园纪念品商店使用。由于年久失修早已成了座危险建筑物濒临倒塌，四周木雕龙头、雕花等物，由于房檐边破烂遭受风吹日晒和雨雪长期浸湿已出现霉烂。后被划为危险建筑封存。在媒体和民间多次呼吁后，2008年，郑州市拨款对胡公祠大殿进行修复，使祠堂得以焕然一新。
目前胡公祠保存大殿，祠门，古树等，虽仍作为人民公园南门，但祠园格局保存完好。