咸丰五年（1855年）太平军进攻县城，与官军交战，庙毁。咸丰八年（1858年），咸丰十年(1860年)，同治九年(1870年)合县绅民迭次修复。新中国成立后的“文化大革命”期间，破除迷信菩萨尽毁。1997年捐资重修，现名万佛寺。该寺坐北朝南，占地5000平方米，建筑古朴典雅，五进大殿，青墙灰瓦，雕梁画栋，庙内有方形石柱17对，木柱20对，配以鼓形基座，柱正面有阳刻楹联十数副。总体布局充分体现了明代建筑风格，左右对称，现进门为第一殿天王殿（1997年新建），弥勒佛含笑端坐，韦护神英俊而立，两厢是魁伟高大的四大天王。拾级而下，有200平方米的场坪，两旁是风雨走廊。正门有雕花彩绘牌楼，两侧为钟鼓楼。进得过厅，有彩雕燕窝状顶棚（藻井），形态各异的蝙蝠，似飞似舞，象征百福吉祥。第二殿为大雄宝殿（1997年新建），释迦牟尼佛高坐正中，两边是阿楠、迦叶、普贤、文殊等佛像，十八罗汉或坐或立，造型各异。第三殿为观音殿（1997年新建），该殿四周有石雕栏杆围绕，由万载县旅台同胞刘心丽夫妇捐建的观音菩萨端坐莲台，顶棚雕刻二百龙头，围成环状，称为“龙窝”。配以草卉鳌鱼，镏金重彩，这是几经劫难保存下来的数百年工艺精品。第四殿为城隍神大殿，殿顶高15米，巨梁绘彩，高大宏伟。由民间捐资重修的城隍神像，官帽朝服，神态威严。两侧为随从皂隶各4位。

面对城隍的高墙上悬挂一把巨大算盘，上书“不由人算”四个大字，寓意深刻，回味无穷。万载城隍无名氏。旧志载，“咸丰六年，粤匪据城，官军交仗，屡彰灵异，今皇上颁赐宣威遏寇匾额。”最后一殿为城隍夫人殿，相传万载的城隍夫人是一位叫玉莲的民间女子修行而成。民谣曰：“花钱缠绵当红娘，玉莲有德嫁城隍，阿莲行善修行好，自选城隍做红娘。”又有一说是该女子逛庙会时，因长相姣好，被描影而去，遂塑为城隍夫人。各大殿两侧均有厢廊相连，还有地藏王殿，普庵祖师殿等建于两厢。每逢佛事，钟鼓齐鸣，观音殿是善男信女踊跃朝拜之圣地。