万历十年（公元1582）六月，张居正死。万历十三年，海瑞已经72岁了，被荐任用为南京都察院右佥都御史，还没到任，又调任南京吏部右侍郎。照一般道理说，七十多岁的老人该退休了，但是，他想了又想，好容易才有着做一点实事的机会，虽然年纪大了，精力差了，还是一股子干劲，高高兴兴到南京上任。

明朝体制，南京是陪都，虽然也和北京一样，有五府、六部、都察院等衙门，但不能决定国家大政，是安排年老的和政治上失势官员的地方，比较清闲。海瑞却并不因为闲官就无所作为，一到职就改革弊政，把多年来各衙门出票要街道商户无偿供应物品的陋规禁止了。他说：“要南京五城的百姓，负担南京千百个官员的出入用度，难怪百姓苦了！吏部是六部之首，怎么能不先想到百姓？”

当时贪污成为风气，严嵩父子虽然垮了，但从宫廷到地方，依然贿赂公行，横征勒索。海瑞一辈子反对贪污，从做教官时起，就禁止学生送礼，作县官革去知县的常例（摊派在田赋上补贴县官的陋规，一种合法的贪污）。拒绝给上官行贿，有人劝他随和一些，他愤然说：“全天下的官都不给上官行贿，难道就都不升官？全天下的官都给上官行贿，又难道都不降官？怎么可以为了这个来葬送自己呢？”又说：“充军也罢，死罪也罢，都甘心忍受。这等小偷行径，却干不得！”知县上京朝觐，照例可以从里甲、杂项摊派四五百两银子以至上千两银子，以便进京行贿，京官把朝觐年看成是收租的年头。海瑞在淳安任上两次上京，只用了路费银48两，其他一概裁革。做巡抚时，拒绝人家送礼，连多年老朋友送的人事也婉言谢绝。做了多年官，过的依然是穷书生的日子。在淳安，有一天买了两斤肉，为他母亲过生日，总督胡宗宪听见了，大为惊奇，当作新闻告诉人。罢官到京听调，穿的衣服单薄破烂，吏部的熟人劝他，才置了一件新官服。祖上留下十多亩田地，除了母亲死时，朋友送一点钱添置一点墓田以外，没有买过一亩地。买了一所房子，用银120两，是历年官俸的积余。死前三天，兵部送来柴火银子，一算多了七钱银子，立刻退回去。死后，同官替他清点遗物，全部家财只有薪俸银151两（一说只有十多两），绫、绸、绢各一匹，连丧事都是同官凑钱办的。看见这种情景，人们都忍不住掉下眼泪。

海瑞一生积极反对贪污，反对奢侈，主张节俭，生活朴素，是言行一致的极少见的清官。他恨极了贪官污吏，认为这是人民遭受苦难的根源，要根绝贪污，非用重刑不可。相反，像过去那样，准许贪污犯用钱赎罪，是解决不了问题的。建议恢复枉法赃满八十贯（千）处绞的法律。还提到明朝初年，严惩贪污，把贪污犯剥皮的故事。这一来，贪官污吏恐慌了，着急了，生怕海瑞剥他们的皮，联合起来，反对海瑞。

升任都察院右佥都御史以后，海瑞整顿纪纲，援引明太祖时的办法，用板子打御史。贪污犯房寰怕海瑞揭发，弹劾海瑞，把海瑞骂得不像人，引起了三进士的抗议。攻击的和为海瑞申雪的人吵开了，统治阶级内部发生严重争论，当国的宰相呢，依然是徐阶的手法，两面都不支持；也不得罪，不参加斗争，希望“调停”了事。最后，房寰的贪污事实被全盘揭露，遮盖不得了，才把他免职，这已经是海瑞死后的事了。