岛呈长形，北东至南西走向，长1.8公里，宽0.6～3公里，海岸线曲折，湾岬相间，岬角狭长，岙口多，有九涧十八岙之说；将要建设的总投资175.2亿的六横大桥将经过佛渡岛。
佛渡岛的名称来源于民间传说。据传，观音大士在未找到说法地普陀山之前曾在此岛停留过渡。元大德《昌国州图志》称佛渡岛为渤涂，康熙和民国《定海县志》称佛肚山。解放前佛渡岛为上庄乡的一部分。1949年10月成立佛渡乡人民政府，1958年9月为六横公社佛渡管理区，1961年为佛渡公社，1984年4月改为佛渡乡，隶属普陀区。岛上有7个行政村，17个自然村，2000年，有居民825户，2871人。2007年10月，撤销佛渡乡，并入六横镇。