早年生涯
关祖尧祖籍广东开平，1907年7月10日生于香港，父亲名关奕周（音译）。关祖尧早年曾居澳门，后来返港入读拔萃男书院，毕业后前赴英国伦敦大学大学学院，其后取得法律荣誉学位毕业。毕业后关祖尧曾短暂在英国的律师事务所工作，1931年5月在英国取得执业律师资格，同年又在香港取得执业律师资格。关祖尧与简悦强爵士同为拔萃男书院及伦敦大学校友，早于1930年代已经认识，两人后来亦一同在立法局与行政局供职。
二战前后
在1941年12月日本入侵香港时，关祖尧曾一度获港府委为粮食统制处粮仓主任，但香港不久以后就宣告沦陷。及至1945年香港重光后，他获以海军中将夏悫爵士为首的临时军政府任命为军事法庭副庭长，专门审讯日本战犯。1946年5月1日港督杨慕琦爵士复任，民政恢复，关祖尧遂改任巡理府首席裁判司。在1946年12月，他受委为非官守太平绅士，后来于1950年至1951年担任香港律师会主席。
战后的关祖尧已经热心参与社会事务，他在1948年获委任为华人法律与习俗委员会、以及租务法庭委员会委员。同年，他还有份参与创立香港房屋协会。其后，关祖尧亦曾任过香港社会服务联会1950年度理事、公务员叙用委员会委员、华人庙宇委员会委员、华人慈善基金委员会委员、1959年公务员薪俸调查委员会委员、、1960年陪审员名单审订委员会委员等等。自1951年至1966年，他亦曾获港府委任为民众安全服务队副处长（行政），此外亦曾任民安队设施委员会主席。
两局生涯
自1956年至1961年，关祖尧获委到市政局出任非官守议员；后自1959年7月至1966年6月出任立法局非官守议员，任内关注有关华人婚姻及继承权的法律，此外亦关注过香港电话服务的质素问题。为答谢其对社会事务的贡献，他在1959年获授OBE勋衔。
在1961年5月，关祖尧获港督委任为行政局非官守议员，后在1966年5月取代利铭泽成为行政局首席华人非官守议员。在行政局供职期间，关祖尧曾身兼多项公职，当中包括贪污问题咨询委员会及赌博政策委员会等的主席，另外又任葛量洪奖学金委员会、禁毒咨询委员会和香港盲人辅导会等等的委员。关祖尧亦曾经出任房协副主席以及获委为保良局永远总理。
至于在教育方面，关祖尧曾是香港大学、协恩中学及拔萃男书院的校董。在1961年6月，关祖尧连同利铭泽、富尔敦勋爵及郑栋材等人获港督柏立基爵士委任到香港中文大学筹备委员会，并由关祖尧出任主席，为中大创校进行筹备工作。期间，他曾代表中大校方，成功与政府达成协议，在马料水拨地273亩，以作为中大校址。中文大学在1963年正式成立后，关祖尧更获推举为首任校董会主席，并一直续任至其在1971年逝世为止。在1964年，关祖尧获中文大学颁授荣誉法学博士学位，成为首批获中大颁授荣誉博士学位的人士之一，以特别答谢他对中大创校所作的贡献。