他任巡海道副使（相当于现在海军副总司令，总司令由皇帝兼任）期间，在浙江至福建一带沿海，带领军民抗击葡萄牙殖民者的侵略，在东山岛附近海域设伏，大败侵略军，收复鼓浪屿等侵略军盘踞的沿海据点，迫使侵略者南逃广东沿海（后占领了澳门），柯乔也因此触犯权贵利益，蒙冤被罢官为布衣，于嘉靖二十九年（1550）受冤放还原籍青阳柯村。在双峰筑草堂闭门读书，著有《九华山诗集》2卷。嘉靖三十三（1554）朝廷察知柯乔冤情，诏令进京授职，时柯乔已病逝。著有《九华山诗集》二卷。
柯乔故居为砖木结构，现存门坊和前厅，内有天井。门外有八字形影壁，门坊上额镌有“嘉靖乙丑科进士柯乔”、“副宪”等字。前厅为清代建筑，堂心室壁有楹联两副，联曰：“八闽立奇功，战绩犹存，纬武全文莫若祖；九华馀精舍，流风未歇，读书谈道又何人”；“学比董江都，品重王门师道贵；风高陶靖节志甘泌水宦情疏。”这可以说是对柯乔功德、才学和品格、精神的写照。今门坊内存有柯乔墓碑1方，碑文为“中宪大夫双华柯公之墓。”柯乔门坊为安徽省重点文物保护单位。