南大寺原址在济南历山顶乌满喇巷，始建年代不详。元代元贞元年（公元1295年）迁到现在的地址，当时只有“楹殿数间”。明宣德年间，当时的南大寺掌教整顿教务，济南教门为之一振。（公元1436年），开拓地基，修建院墙，增建礼殿，南大寺始具规模。明弘治七年（公元1492年）陈玺任南大寺掌教，领导济南穆斯林大拓寺基，扩建大殿，立南北讲堂、僻静所、沐浴室等，并将寺门朝向由南改东，南大寺自此始有中国伊斯兰教建筑特色，成为较大规模的古建筑群。此后，南大寺又经明嘉靖、万历清嘉庆、道光、同治和民国初年的多次修葺扩建逐渐臻于完美。