高祖迁洛，路由朝歌，见殷比干墓，怆然悼怀，为文以吊之。芳为注解，表上之。诏曰：「览卿注，殊为富博。但文非屈宋，理惭张贾。既有雅致，便可付之集书。」诏以芳经学精洽，超迁国子祭酒。以母忧去官。高祖南征宛邓，起为辅国将军、太尉长史，从太尉、咸阳王禧攻南阳。萧鸾将裴叔业入寇徐州，疆场之民颇怀去就，高祖忧之，以芳为散骑常侍、国子祭酒、徐州大中正，行徐州事。后兼侍中，从征马圈。高祖崩于行宫。及世宗即位，芳手加衮冕。高祖自袭敛暨于启祖、山陵、练除，始末丧事，皆芳撰定。咸阳王禧等奉申遗旨，令芳入授世宗经。及南徐州刺史沈陵外叛，徐州大水，遣芳抚慰赈恤之。寻正侍中，祭酒、中正并如故。

芳表曰：「夫为国家者，罔不崇儒尊道，学校为先。诚复政有质文，兹范不易，谅由万端资始，众务禀法故也。唐虞已往，典籍无据；隆周以降，任居虎门。《周礼大司乐》云："师氏，掌以微诏王。居虎门之左，司王朝，掌国中之事，以教国子弟。"蔡氏《劝学篇》云："周之师氏，居虎门左，敷陈六艺，以教国子。"今之祭酒，即周师氏。《洛阳记》：国子学宫与天子宫对，太学在开阳门外。案《学记》云："古之王者，建国亲民，教学为先。"郑氏注云："内则设师保以教，使国子学焉；外则有太学、庠序之官。"由斯而言，国学在内，太学在外，明矣。案如《洛阳记》，犹有仿像。臣愚谓：今既徙县崧瀍，皇居伊洛，宫阙府寺，佥复故趾，至于国学，岂可舛替？校量旧事，应在宫门之左。至如太学，基所炳在，仍旧营构。又云：太和二十年，发敕立四门博士，于四门置学。臣案：自周已上，学惟以二，或尚西，或尚东，或贵在国，或贵在郊。爰暨周室，学盖有六。师氏居内，太学在国，四小在郊。《礼记》云周人"养庶老于虞庠，虞庠在国之西郊。"《礼》又云："天子设四学，当入学而太子齿。"注云："四学，周四郊之虞庠也。"案《大戴保傅篇》云："帝入东学，尚亲而贵仁；帝入南学，尚齿而贵信；帝入西学，尚贤而贵德；帝入北学，尚贵而尊爵；帝入太学，承师而问道。"周之五学，于此弥彰。案郑注《学记》，周则六学。所以然者，注云："内则设师保以教，使国子学焉；外则有太学、庠序之官。"此其证也。汉魏已降，无复四郊。谨寻先旨，宜在四门。案王肃注云："天子四郊有学，去王都五十里。"考之郑氏，不云远近。今太学故坊，基趾宽旷，四郊别置，相去辽阔，检督难周。计太学坊并作四门，犹为太广。以臣愚量，同处无嫌。且今时制置，多循中代，未审四学应从古不？求集名儒礼官，议其定所。」从之。

迁中书令，祭酒如故。出除安东将军、青州刺史。为政儒缓，不能禁止奸盗，廉清寡欲，无犯公私。还朝，议定律令。芳斟酌古今，为大议之主，其中损益，多芳意也。世宗以朝仪多阙，其一切诸议，悉委芳修正。于是朝廷吉凶大事皆就谘访焉。转太常卿。芳以所置五郊及日月之位，去城里数，于礼有违，又灵星、周公之祀，不应隶太常，乃上疏曰：