约瑟夫·门格勒作为三个儿子中的长子生于农具机械工厂厂主卡尔·门格勒的家中。小门格勒成长在家中国家保守主义思想和严格的天主教信仰之中。他的父亲是当时的德意志国家人民党Deutsch-Nationalen Volkspartei (DNVP) 和保守派前线战盔老兵团“Stahlhelm”的老一辈成员。正是为此，在纳粹上台执政之后作为忠诚的奖励，老门格勒终于进入了梦想已久的市议会。1933年5月卡尔·门格勒加入了NSDAP，同时他也就是后来那些“老战士们”（"Alten Kämpfern"）蔑视地成为“三月烈士”