小洋山历史悠久，唐大中四年（850）即有关于该岛的文字记载，据称当时岛上有座隋炀帝庙，不能不说是一件离奇之事。自宋至元、明的漫长世纪，洋山渔汛一直盛如海上大都会。作为明清水师海防要地，曾埋设有军事界碑，在岛上仰天盖山的东侧山岙中，有座称天后宫的寺庙，庙内原存江、浙二省巡哨分界碑 。清初声势浩大的海上反抗运动，常取道洋山。顺治十五年（1658）九月，郑成功、张煌言再次在洋山会师北伐，遭遇大风而损失甚惨，传说郑成功部属在岛上烹羊而食，因此招来海难。此事虽纯属附会，但洋山确也养羊，今居民牧羊多移往相邻的锦鸡岛。1949年8月，国民党政府在大陆即将全面崩溃之际，蒋经国先生曾赴小洋山活动。

小洋山除丰富的人文景观外，自然石景风光颇称独特。著名景点为石龙、小观音山摩崖群两处，其他有姐妹石、高泥奇沙、乌龟石等。石龙景点位岛东部的大城子山中，为嵊泗第二大石之奇观。进山步步有景，游人首先看见乌龟石，石重数吨，斜依崖顶而引首向上，又称"石鸡望空"。沿石道攀登，石龙偃卧于山深幽壑处，分上下两条，背腹分明，相互偎依，蜿蜒于山岗之上，长约百米。细观石纹斑驳如龙鳞，龙前端有球状花岗石数颗，似二龙戏珠；龙尾处凹陷一洞，称石龙洞，深不可测。景点峰岩巍峨，石色浑厚而略泛金黄，游山有恍然误入画境之感。

小观音山有古摩崖石刻8处，山小而大石叠接，如巧匠所垒之天然碑石之山。"海阔天空"镌于山顶岩壁石匾中，为明万历三十六年（1608）游兵都司张文质书，是岛上最早的一方题刻。"倚剑"二字堪称"大字王"，镌于西坡巨壁，每字高3.8米，宽3.5米，系明万历四十一年青田知县举人李楷所书，笔力遒健，豪气撼人，是浙江岛屿中最大的摩崖石刻。其他题刻如"鲲鹏化处"、"中流砥柱"、"水天阔处"和"海晏波宁"等，皆浑雄大气，游客大多喜欢于此摄影留念。

大、小洋山以及沈家湾岛和唐脑山等均为崎岖列岛主要岛屿，列岛由83个小岛礁组成，多裸岩秃石，如路之崎岖不平，故名。