当年，这里曾是日本军国主义分子搜集中国军事机密、从事特务活动的重要场所。2004年年底，郑州市对这座曾记录下日本在郑州不光彩历史的旧址进行了翻修、整理。旧址于2005年8月15日正式对外开放。

前日本驻郑州领事馆始于1922年，经当时的北洋政府核准设立的，主体建筑为1927年所建。1928年，时任河南省主席的冯玉祥取消了日本驻郑州领事馆。后来日本又两次恢复驻郑州领事馆。1933年，日本驻郑州领事馆恢复，日方选定东三马路为新址，此处占地1.92亩，有楼房两座，房屋52间，隶属于日本驻汉口总领事馆。但在第二年，北京爆发了“一二·九”学生抗日运动，郑州的学生也走上街头声援，领事馆被迫关闭。最后一次恢复在1936年1月1日，领事馆改名为日本驻郑县领事馆，当时的领事是佐佐木高义，直到1937年8月9日，全面抗战爆发。