升明二年，爲长兼侍中，以父终此职，固让。先是，齐高帝爲相，欲引时贤参赞大业，时谢朏爲长史，帝夜召朏，却人与语久之，朏无言。唯有二小儿捉烛，帝虑朏难之，仍取烛遣儿，朏又无言，帝乃呼左右。俭素知帝雄异，后请间言于帝曰：「功高不赏，古来非一，以公今日位地，欲北面居人臣，可乎？」帝正色裁之，而神采内和。俭因又曰：「俭蒙公殊眄，所以吐所难吐，何赐拒之深。宋以景和、元徽之淫虐，非公岂复宁济；但人情浇薄，不能持久，公若小复推迁，则人望去矣，岂唯大业永沦，七尺岂可得保？」帝笑曰：「卿言不无理。」俭又曰：「公今名位，故是经常宰相，宜礼绝群后，微示变革。当先令褚公知之，俭请衔命。」帝曰：「我当自往。」经少日，帝自造彦回，款言移晷，乃谓曰：「我梦应得官。」彦回曰：「今授始尔，恐一二年间未容便移。且吉梦未必便在旦夕。」帝还告俭，俭曰：「褚是未达理。」虞整时爲中书舍人，甚闲辞翰，俭乃自报整，使作诏。及高帝爲太尉，引俭爲右长史，寻转左，专见任用。大典将行，礼仪诏策，皆出于俭，褚彦回唯爲禅诏，又使俭参怀定之。

齐台建，迁尚书右仆射，领吏部，时年二十八。多所引进。时客有姓谭者，诣俭求官，俭谓曰：「齐桓灭谭，那得有君？「答曰：「谭子奔莒，所以有仆。」俭赏其善据，卒得职焉。高帝尝从容谓俭曰：「我今日当以青溪爲鸿沟。」对曰：「天应人顺，庶无楚、汉之事。」

时朝仪草创，衣服制则，未有定准，俭议曰：「汉景六年，梁王入朝，中郎谒者金貂出入殿门。左思魏都赋云"蔼蔼列侍，金貂齐光"，此藩国侍臣有貂之明文。晋百官表云"太尉参军四人，朝服武冠"，此又宰府之明文。」又疑百僚敬齐公之礼，俭又曰：「晋王受命，劝进云，"冲等眷眷"，称名则应尽礼。」而世子礼秩未定，俭又曰：「春秋曹世子来朝，待以上公之礼，下其君一等。今齐公九命，礼冠列蕃，世子亦宜异数。」并从之。世子镇石头城，仍以爲世子宫，俭又曰：「鲁有灵光殿，汉之前例也。听事爲崇光殿，外斋爲宣德殿，以散骑常侍张绪爲世子詹事，车服悉依东宫制度。」

高帝践阼，与俭议佐命功臣，从容谓曰：「卿谋谟之功，莫与爲二，卿止二千户，意以爲少。赵充国犹能自举西零之任，况卿与我情期异常。」俭曰：「昔宋祖创业，佐命诸公，开国不过二千，以臣比之，唯觉超越。」上笑曰：「张良辞侯，何以过此。」

建元元年，改封南昌县公。时都下舛杂，且多奸盗，上欲立符伍，家家以相检括。俭谏曰：「京师翼翼，四方是凑，必也持符，于事既烦，理成不旷，谢安所谓"不尔何以爲京师"。」乃止。是岁，有司奏定郊殷之礼，俭以爲宜以今年十月殷祭宗庙，自此以后，五年再殷祭。二年正月上辛，有事南郊，即以其日还祭明堂；又用次辛飨祀北郊，而并无配。从之。明年转左仆射，领选如故。

初，宋明帝紫极殿珠帘绮柱，饰以金玉，江左所未有，高帝欲以其材起宣阳门，俭与褚彦回及叔父僧虔连名表谏，上手诏酬纳。宋世，宫门外六门城设竹篱，是年初，有发白虎樽言「白门三重门，竹篱穿不完」。上感其言，改立都墙。俭又谏，上答曰：「吾欲后世无以加也。」朝廷初基，制度草创，俭问无不决。上每曰：「诗云"惟岳降神，生甫及申"，今天爲我生俭也。」其年固请解选，见许。

帝幸乐游宴集，谓俭曰：「卿好音乐，孰与朕同？」俭曰：「沐浴唐风，事兼比屋，亦既在齐，不知肉味。」帝称善。后幸华林宴集，使各效伎艺。褚彦回弹琵琶，王僧虔、柳世隆弹琴，沈文季歌子夜来，张敬儿舞。俭曰：「臣无所解，唯知诵书。」因跪上前诵相如封禅书。上笑曰：「此盛德之事，吾何以堪之。」后上使陆澄诵孝经，起自「仲尼居」，俭曰：「澄所谓博而寡要。臣请诵之。」乃诵君子之事上章。上曰：「善，张子布更觉非奇也。」于是王敬则脱朝服袒，以绛纠髻^[jì]，奋臂拍张，叫动左右。上不悦曰：「岂闻三公如此。」答曰：「臣以拍张，故得三公，不可忘拍张。」时以爲名答。

俭寻以本官领太子詹事，加兵三百人。时皇太子妃薨，左卫将军沈文季经爲宫臣，未详服不。俭议曰：「汉、魏以来，宫僚先备臣隶之节，具体在三。存既尽敬，亡岂无服？昔庾翼丧妻，王允、滕含犹谓府吏宜有小君之服，况臣节之重。宜依礼爲旧君之妻齐衰三月而除。」上崩，遗诏以俭爲侍中、尚书令、镇军。每上朝，令史恒有三五十人随上，谘事辩析，未尝壅滞。褚彦回时爲司徒、录尚书，笑谓俭曰：「观令判断甚乐。」俭曰：「所以得厝私怀，实由禀明公不言之化。」武帝即位，给班剑二十人，进号卫将军，掌选事。时有司以前代嗣位，或仍前郊年，或别爲郊始，晋、宋以来，未有画一。俭议曰：「晋明帝太宁三年南郊，其年九月崩；成帝即位，明年改元，亦郊。简文咸安二年南郊，其年七月崩；孝武即位，明年改元，亦郊。宋元嘉三十年正月南郊，二月崩；孝武嗣位，明年亦郊。此二代明例，差可依放。今圣明系业，幽显宅心，言化则频郊非嫌，语事则元号初改，禋燎登配，孝敬兼遂。谓明年正月宜飨祀二郊，虔祭明堂。自兹以后，依旧间岁。」有司又以明年正月上辛应南郊，而立春在上辛后，郊在立春前爲疑。俭曰：「宋景平元年正月三日辛丑南郊，其月十一日立春，元嘉十六年正月六日辛未南郊，其月八日立春，此近世明例也。」并从之。