1972年，当雪兰莪江夏堂暨马来西亚黄氏宗祠举行新大厦落成庆典时，来各全马各地的黄氏宗亲会代表集聚一堂，在有所感触之下，就有了筹组马来西亚黄氏联合总会的提议，以便拥有一个中心机构可以统一全部属会，朝上述宗旨迈进。
自发起了该项提议之後，来自各地的江夏生、黄氏宗祠、黄氏公会、黄氏家族会，酝酿了数年後，终於在1976年，乘著雪兰莪江夏堂庆祝50周年金禧纪念暨马来西亚黄氏宗祠15周年纪念庆典之际，发起组织马来西亚黄氏联合总会筹备委员会。
在筹备委员会的大力推动之下，终成功在1977年8月31日正式成立，召开第一届全国会员代表大会，团结全马黄氏宗亲，为黄姓人氏历史，掀开新纪元。
该联合总会的理事会采取轮值制，轮流由其属下各宗会来领导总会的任务，轮值领导总会的会员宗会按照惯例担任该会的总会长、总务长、总财政及总秘书的职位。在理事会的结构上，增强其领导功能。
该会的任期由1977-1980为一年制，由1980-1986为二年制。目前共有28个黄氏宗亲会成为总会的会员。