在起复之初，他的职务是南京右金都御史，不久升任南京交部右侍郎。自从永乐皇帝迁都北京以后，这个名义上称为陪都的南京，除了正德皇帝一度在此驻晔以此从来没有举行过全国性的大典。这里的各种中央机构，实际上等于官员俱乐部。他们的官俸微薄，公务又十分清闲，于是就殚精竭虑地设法增加额外收入。最常见的方法是利用职权，向市井商人勒索，其公行无忌有如抢劫。这种种怵田惊心的情形，使稍有良心的官员无不为之忧虑。

海瑞在1586年升任南京右都御史。在命令发布之前，他已经向万历提出了一个惹是生非的条陈。他提议，要杜绝官吏的贪污，除了采用重典以外别无他途。条陈中提到太祖皇帝当年的严刑峻法，凡贪赃在八十贯以上的官员都要处以剥皮实革的极刑。这一大干众怒的提议在文官中造成了一阵震动。谁知一波未平，一波又起。有一位御史在家里招了一班伶人排戏，海瑞得悉此事，就宣称按照洪武的祖制，这位御史理应受到杖责。其实这类事情在南京已属司空见惯，海瑞却以为有坏风俗人心而加以反对，结果只能被大众看成胶柱鼓瑟，不合乎时代的潮流。

海瑞的再度出山以及一如既往的言行，对当时的南京地区来说，有如一块巨石投进了一地死水。对他的批评和赞扬同时出现。不久，就有一位巡按南直隶的监察御史上流参劾右都御史海瑞。下级监察官参劾上级监察官，虽不能说背于法制，毕竟是有逾常情。即此一端，就不难窥见反对者的愤慨。这位御史的奏疏一开始就对海瑞作了全盘否定：“莅官无一善状，推务诈诞，矜已夸人，一言一论无不为士论所笑。”接着就采用莫须有的老办法，说海瑞以圣人自诩，奚落孔孟，蔑视天子。最后又用海瑞自己的话来说明他既骄且伪，说他被召复官，居然丝毫不作礼貌上的辞让，反而强调说他还要变卖产业，才能置备朝服官带。这位御史负有视察官学的职责，他在奏流中说，如果学校中任何生员敢于按照海瑞的方式为人处事，他将立即停发此人的禀膳并加责打。

这种接近人身攻击的批评，立刻遭到无数青年学生和下级官僚的激烈反对。拥护者和反对者互相争辩，几乎一发而不可收拾。万历皇帝于是亲自作出结论：“海瑞屡经荐举，故特旨简用。近日条陈重刑之说，有乖政体，且指切联躬，词多迁怒，联已优容。’主管人事的吏部，对这一场争论也提出了自己的意见，说海瑞节操可风，只是近日关于剥皮食草的主张过于偏执，“不协于公论”，所以不宜让他出任要职，但可以继续保留都御史的职位。皇帝的未批同意吏部的建议：“虽当局任事，恐非所长，而用以镇雅俗、励颓风，未为无补，会令本官照旧供职。”

这些文件由给事中宜署抄录公布，就等于政府公开承认了自己的本身矛盾。为什么可以镇雅俗、励颓风的节操偏偏成为当局任事的障碍？可见我们帝国的政治措施至此已和立法精神脱节，道德伦理是道德伦理，做事时则另有妙法。再要在阴阳之间找出一个折衷之点而为公众所接受，也就越来越困难了。

海瑞虽然被挽留供职，然而这些公开发表的文件却把他所能发挥的全部影响一扫而光。一位堂堂的台谏之臣被皇帝称为“还愁”，只是由于圣度包容而未被去职，那他纵有真知卓见，他说的话哪里还能算数？由失望而终于绝望，都御史海瑞提出了7次辞呈，但每次都为御批所请不难。这一使各方面感到为难的纠结最终在上天的安排下得到解脱。接近1587年年底亦即万历十五年丁亥的岁暮，海瑞的死讯传出，无疑使北京负责人事的官员大大地松了一口气，因为他们再也用不着去为这位大众心目中的英雄——到处惹是生非的人物去操心作安排了。