年少时衣着不整，行止随便。著名学者叶适规劝他说：“名家子安可不学?”从此发愤读书，学业有成，与兄赵汝谈齐名，称为“二赵”。以祖荫补承务郎，历泉州市舶司、利州大军仓属。庆元元年(1195)，赵汝愚罢相，韩侂胄斥谠为朋党，被贬谪十年。后调华亭(今上海松江)浦东盐场，弃职而去。又被任为浙西安抚司幕、调佥事昭庆军判官，亦不赴任。嘉定元年登进士后，任太社令，不久，升为将作监簿、大理寺寺丞。因与朝臣史弥远不合，请外任湖南提举，又调江西提点刑狱。时瑞州(今江西高安)一辛姓大户谋夺徐氏田产，诬杀婢，使入狱。谠受理后，查明真相，反坐辛姓，籍没其家。辛逃走，告于中宫，因而又把谠调至湖南，任提举平常。到任后，浏阳又有一罗姓豪民掠夺民田，谠仍绳之以法，以是得罪豪门，迁知温州。