三栋屋村由陈氏人士所建，原本居住于福建省汀州府宁化县，后来有一支搬到去广东省广州府新安县罗芳。到了第十三代，当中的村民陈任盛搬到荃湾居住，曾于大窝口填海开地种田，并兴建一座草屋。其长子陈健常其后看中牛牯墩西部一地，发现风水极佳，便在该处立村，称为三栋屋村。
三栋屋村于1786年建立，本来只有三列房舍，故名。陈氏后人后来先后在三栋屋村的两旁及后面加建房子，遂逐渐成为今貌。
1970年代，由于香港地铁荃湾线的工程，三栋屋村村民放弃原址他迁。1987年，三栋屋村遗址经当时的香港市政局修葺后，改为三栋屋博物馆开放让公众人士参观，现由香港康乐及文化事务署管理。