他的故乡在南海之滨，和大陆上一些人文基本的城市是两种截然不同的环境。在那些城市里，退职的官员可以寄情山水，以吟咏自娱，并且有诗人墨客时相过从。有的人可以出任书院的山长，以弘扬圣贤之道，造就下一代的人才来继续他的未竟之业。而在这天涯海角的琼凡没有小桥流水、蒋藻游鱼的诗情画意，收入眼底的是单调一色的棕桐树和汹涌的海涛，吞噬人畜的鳄鱼是水中的霸主。海峡中时有海盗出没，五指山中的黎人则和汉人经常仇杀。

退隐在荒凉瘴病之区，如果有一个美好的家庭生活，也许还多少能排遣这空虚和寂寞。然而海瑞没有能在这方面得到任何安慰。他曾经结过三次婚，又有两个小妾。他的第一位夫人在生了两个女儿以后因为和婆婆不和而被休。第二位夫人刚刚结婚一月，也由于同样的原因而逐出家门。第三位夫人则于1569年在极为可疑的情况下死去。第三位夫人和小妾一人先后生过三个儿子，但都不幸夭折。按照传统观念，不孝有三，无后为大，这是海瑞抱恨终天的憾事之一。

海瑞是忠臣，又是孝子。他3岁丧父，寡居的母亲忍受着极大的困难把他教养成人。她是他的抚养者，也是他的启蒙者。在海瑞没有投师就读以前，她就对他口授经书。所以，历史学家们认为海瑞的刚毅正直，其中就有着他母亲的影子。然而，同样为人所承认的是，海太夫人又是造成这个家庭中种种不幸事故的重要因素。当海瑞离开南直隶的时候，她已经度过了80寿辰。而出人意外的是，海瑞的上司只是呈请皇帝给予她以四品夫人的头衔，而始终没有答应给她以另外一种应得的荣誉，即族表为节妇，是不是因为她的个性过强，以致使他的儿子两破出妻？又是不是她需要对1569年的家庭悲剧承担责任？尽管今天已经缺乏实证的材料，但却有足够的迹象可以推想，由于海大夫人而引起的家庭纠纷，不仅已经成为政敌所攻汗的口实，也已为时论所不满。海瑞可以极容易地从伦常纲纪中找出为他母亲和他自己辩护的根据，然而这些根据却不会丝毫增加他家庭中的和睦与愉快。

离职的巡抚已经走到了生命中退无可退的最后据点。他必须忘却别人加之于他的侮辱，克服自己的寂寞和悲伤。他失望，然而没有绝望。他从孔子的训示中深深懂得，一个有教养的人必须抱有任重道远的决心。老骁伏仇志在千里，他虽然闲居在贫瘠的乡村，屋子里挂着的立轴上，却仍然是“忠孝”二字。这是儒家伦理道德的核心，在他从小读书的时候已经深深地印刻在他的灵魂里，至今仍然用它来警惕自己，务使自己晚节保持完美。他的政治生涯，已经充分表示了为人臣者尽忠之不易；而他的家庭经历，也恰恰说明了为人子者尽孝的艰难。但是除此以外，他没有别的道路可走，我们的先儒从来就把人类分成君子和小人，前者具有高尚的道德教养，后者则近似于禽兽。这种单纯的思想，固然可以造成许多个人生活中的悲剧，可是也使我们的传统文化增添了永久的光辉。从海瑞家族的这个姓氏来看，很可能带有北方少数民族的血统，然则这位孔孟的真实信徒，在今天却以身体力行的榜样，把儒家的伟大显标于这南海的尽头！

安贫乐道是君子的特征。家境的困窘过去既没有损害海瑞的节操，今天也决不再会因之而改变他的人生观。他有祖传的四十亩土地足供糊口，在乡居期间，他也接受过他的崇敬者的馈赠。他把这些馈赠用来周济清寒的族人和刊印书籍泊己的家庭生活则保持一贯的俭朴。

散文作家海瑞的作品表明，他单纯的思想不是得之于天赋，而是来自经常的、艰苦的自我修养。既已受到灵感的启发，他就加重了自我的道德责任；而这种道德责任，又需要更多的灵感才能承担肩负。如果不是这样，他坚持不懈的读书著作就会变得毫无意义。

他的作品中再三地阐明这种道德上的责任。一个君子何以有志于做官，海瑞的回答是无非出于恻隐和义愤。他看到别人的饥寒疾苦而引起同情，同时也看到别人被损害欺压而产生不平。在君子的精神世界里，出仕做官仅仅是取得了为国家尽忠、为百姓办事的机会。一个人如果出于牟利，他可以选择别的职业，或为农，成为工，或为商。如果为士做官，则应当排除一切利己的动机。在这一点上，海瑞和创建本朝的洪武皇帝看法完全一致。

海瑞在1585年被重新起用。他不加思索地接受这一任命，无疑是一个不幸的选择。这一次，他就真的走到了生命的终点和事业的最低点。当时张居正已经死后被清算，朝廷中的人事发生了一次大幅度的调整。海瑞虽然不是当面反对张居正的人，却为张居正所不喜，因而得以在反张的风潮中东山复起开6J然而，这位模范官僚的政治主张在15年前尚且窒碍难行，在这15年后又如何能畅通无阻？文渊阁大学土申时行以他的明智和通达，自然不难理解这一点。所以他在致海瑞的书信中说到“维公祖久居山林，于圣朝为闭典”，就含蓄地表示了这次起用只是偏顺舆情，需要这位享有声誉的直臣作为朝廷的点缀。t57）这个时候的海瑞已经72岁，虽说锐气并没有消减，但多年的阅历却使他不再像当年那样乐观。当嘉靖年间他犯颜直谏的时候，曾经充满信心地鼓励皇帝，说朝政的革新，不过是“一振作间而已”。而现在，在他离开家乡以前，他给朋友的信上却忧心忡忡地说：“汉魏桓调宫女千数，其可报吹厩马万匹，其可减沙，’借古喻今，明显地影射当今的万历皇帝喜欢女色和驰射，而且对皇帝的是否能够改过毫无信心。