后历任衢州法曹、籍田令、司农簿、台州通判，办浙东赈务。庆元元年(1195年)任太府丞。时外戚韩侂胄任枢密都承旨，与右丞相赵汝愚倾轧，韩侂胄指使正言李沭劾赵汝愚，并参劾颂赵汝愚者。祖俭上书，反对斥逐忠良老成之臣，说：“恐自是天下有当言之事，必称相视以为戒。钳口结舌之风，一成而不易反，是岂国家之利耶?”宁宗认为目无君主，“朋比罔上”，祖俭遂被贬置韶州，中途改吉州。遇赦，移置高安，居大愚山真如寺。自号大愚叟。六年卒，归葬武义明招山祖茔，为吕氏墓群九墓之一。著作有《大愚集》。嘉熙二年(1238年)，追赠朝奉郎、直秘阁，谥忠。

吕祖俭字子约，祖谦之弟也，受业祖谦如诸生。监明州仓，将上，会祖谦卒。部法半年不上者为违年，祖俭必欲终期丧，朝廷从之，诏违年者以一年为限，自祖俭始。终更赴铨，丞相周必大语尚书尤袤招之，祖俭已调衢州法曹而后往见。宁宗即位，除太府丞。时韩侂胄浸用事，正言李沐论右相赵汝愚罢之。祖俭奏：“汝愚亦不得无过，然未至如言者所云。”侂胄怒曰：“吕寺丞乃预我事邪？”会祭酒李祥、博士杨简皆上书讼汝愚，沐皆劾罢之。祖俭乃上封事曰：“陛下初政清明，登用忠良，然曾未逾时，朱熹老儒也，有所论列，则亟使之去；彭龟年旧学也，有所论列，亦亟许之去；至于李祥老成笃实，非有偏比，盖众听所共孚者，今又终于斥逐。臣恐自是天下有当言之事，必将相视以为戒，钳口结舌之风一成而未易反，是岂国家之利邪？”疏既上，束鱣待罪有旨：吕祖俭朋比罔上，安置韶州。中书舍人邓驲缴奏，祖俭罪不至贬。御笔：“祖俭意在无君，罪当诛。窜逐已为宽恩。”会楼钥进读吕公著元祐初所上十事，因进曰：“如公著社稷臣，犹将十世宥之，前日太府寺丞吕祖俭以言事得罪者，其孙也。今投之岭外，万一即死，圣朝有杀言者之名，臣窃为陛下惜之。”上问：“祖俭所言何事？”然后知前日之行不出上意。侂胄谓人曰：“复有救祖俭者，当处以新州矣。”众莫敢出口。有谓侂胄曰：“自赵丞相去，天下已切齿，今又投祖俭瘴乡，不幸或死，则怨益重，曷若少徙内地。”侂胄亦悟。祖俭至庐陵，将趋岭，得旨改送吉州。遇赦，量移高安。二年卒，诏令归葬。祖俭之谪也，朱熹与书曰：“熹以官则高于子约，以上之顾遇恩礼则深于子约，然坐视群小之为，不能一言以报效，乃令子约独舒愤懑，触群小而蹈祸机，其愧叹深矣。”祖俭报书曰：“在朝行闻时事，如在水火中，不可一朝居。使处乡闾，理乱不知，又何以多言为哉？”在谪所，读书穷理，卖药以自给。每出，必草履徒步，为逾岭之备。尝言：“因世变有所摧折，失其素履者，固不足言矣；因世变而意气有所加者，亦私心也。”