永明二年，领丹阳尹。三年，领国子祭酒，又领太子少傅。旧太子敬二傅同，至是朝议接少傅以宾友礼。宋时国学颓废，未暇修复，宋明帝泰始六年，置总明观以集学士，或谓之东观，置东观祭酒一人，总明访举郎二人；儒、玄、文、史四科，科置学士十人，其馀令史以下各有差。是岁，以国学既立，省总明观，于俭宅开学士馆，以总明四部书充之。又诏俭以家爲府。四年，以本官领吏部。先是宋孝武好文章，天下悉以文采相尚，莫以专经爲业。俭弱年便留意三礼，尤善春秋，发言吐论，造次必于儒教，由是衣冠翕然，并尚经学，儒教于此大兴。何承天礼论三百卷，俭抄爲八帙，又别抄条目爲十三卷。朝仪旧典，晋、宋来施行故事，撰次谙忆，无遗漏者。所以当朝理事，断决如流。每博议引证，先儒罕有其例，八坐丞郎，无能异者。令史谘事，宾客满席，俭应接铨序，傍无留滞。十日一还，监试诸生，巾卷在庭，剑卫令史，仪容甚盛。作解散帻，斜插簪，朝野慕之，相与放效。俭常谓人曰，「江左风流宰相，惟有谢安」，盖自况也。武帝深委仗之，士流选用，奏无不可。

五年，俭即本号开府仪同三司，固让。六年，重申前命。先是诏俭三日一还朝，尚书令史出外谘事，上以往来烦数，诏俭还尚书下省，月听十日出外。俭啓求解选，上不许。七年，乃上表固请，见许，改领中书监，参掌选事。其年疾，上亲临视。薨，年三十八。诏卫军文武及台所给兵仗，悉停侍葬。又诏追赠太尉，加羽葆、鼓吹，增班剑爲六十人，葬礼依太宰文简公褚彦回故事。諡文宪公。

俭寡嗜欲，唯以经国爲务，车服尘素，家无遗财。手笔典裁，爲当时所重。少便有宰臣之志，赋诗云：「稷契匡虞夏，伊吕翼商周。」及生子，字曰玄成，取仍世作相之义。撰古今丧服集记并文集，并行于世。梁武帝受禅，诏爲俭立碑，降爵爲侯。

俭弟逊，宋升明中爲丹阳丞，告刘彦节事，不蒙封赏。建元初，爲晋陵太守，有怨言。俭虑爲祸，因褚彦回啓闻，中丞陆澄依事举奏。诏以俭竭诚佐命，特降刑书宥逊，远徙永嘉郡，于道伏诛。

长子骞嗣。

骞字思寂，本字玄成，与齐高帝偏讳同，故改焉。性凝简，慕乐广爲人，未尝言人之短。诸女子侄皆嫔王尚主，朔望来归，辎軿填咽，非所欲也，敕岁中不过一再见。尝从容谓诸子曰：「吾家本素族，自可依流平进，不须苟求也。」历黄门郎、司徒右长史。不事産业，有旧墅在锺山八十馀顷，与诸宅及故旧共佃之。常谓人曰：「我不如郑公业有田四百顷，而食常不周。」以此爲愧。永元末，召爲侍中，不拜。三年春，枉矢昼见西方，长十馀丈。骞曰：「此除旧布新之象也。」及梁武起兵，骞曰：「天时人事，其在此乎。」梁武霸府建，引爲大司马谘议参军，迁侍中。及帝受禅，降封爲侯。历位度支尚书，中书令。武帝于锺山西造大爱敬寺，骞旧墅在寺侧者，即王导赐田也。帝遣主书宣旨，就骞市之，欲以施寺。答云：「此田不卖；若敕取，所不敢言。」酬对又脱略。帝怒，遂付市评田价，以直逼还之。由是忤旨，出爲吴兴太守。

骞性侈于味而俭于服，颇以多忌爲累。又惰于接物，虽主书宣敕，或过时不见。才望不及弟暕，特以俭之嫡，故不弃于时。暕爲尚书左丞仆射，当朝用事，骞自中书令爲郡，邑邑不乐，在郡卧不视事。征复爲度支尚书，加给事中，领射声校尉。以母忧去职。普通三年卒，年四十九。赠侍中、金紫光禄大夫，諡曰安。子规。