1580年，李蛰在姚安辞官离任后，就搬到湖广黄安，在耿家充当门客而兼教师。这时耿定向的父亲去世不久，兄弟4个都在家里丁优守制。这4个人中，李蛰和二兄耿定理的交往特别密切。有人误以为他们两人在思想上比较一致，其实不然。他们之间的差异，较之李蛰和长兄耿定向之间的差异还要大得多。耿定理天资聪颖，同时也是一个诚实的人。如果他发现“四书”“五经”中的理论和他自己的思想有所冲突，他就不能轻易放过，人云亦云。这种矛盾带给他苦恼，也促使他思索，有时候会独自一人在深山穷谷之中徘徊。最后，他终于“豁然贯通”，确认儒家的仁就是无我主义，一个人成为圣人，则是把自我之有化而为无，进入了寂灭的境界，以致“无声无臭”。这种高悬在空中的理想主义，只能深藏于内心，不能应用于现实，并发展而成为伦理和道德的标准。所以在实际生活中，耿定理从来没有应考，也从来没有做官。然而李蛰则认为“穿衣吃饭，即是人伦物理”，这无疑和耿定理的思想判若水火。他们之所以能和睦相处，不在于耿定理学术理论上的弹性，而在于他性格的柔和轻松。他经常以排宗式的机锋，避开辩论中的正面冲突，而以表面上毫不相关的语言，来表示自己的意见，使辩论的对手在思索之后被迫折服。因为他认为自己所掌握的真理，基于识见渊博；如果坚持片面的执拗，就等于放弃了宽阔的胸襟。因此，当耿定理在世之日，总是能够用他特有的方式调解他长兄和李蛰之间的冲突。

在思想史上，长兄耿定向最易为历史学家所误解。他的朋友和论敌李蛰，把他说成一个伪君子；而黄宗费的《明儒学案》人也指出他思想上前后不符。然则很少有人能看到，这位哲学家同样是在竭力地探求一种既有形而上的根据，又能融合于日常生活的真理。他接受佛家和道家的哲理，认为至善至美属于虚无，但另一方面，却又认为任何信条如果不能在愚夫愚妇面前宣讲明白，则不成其为信条。经过多方考虑，他提出，人的理智有深有线，有粗有细，有的集中，有的分散；在社会生活中，政治与农业不同，农业又与商业不同。基于这样的分析，他已经开始指出了伦理道德的理，应当与物理、地理的理有所区别，因此施政的标准也应当与哲学思想有所区别。这种理论，为当时持一元论的宇宙观者所不能接受。他和李蛰的冲突也无可避免，因为两个人都准备把自己的理论体现于行动之中。于是李蛰指斥耿定向为不诚实，言行不一；耿定向则指斥李蛰以立异为标榜，立异的目的还是立异，所谓放浪形骸，无非是为了博取超凡脱俗的美名。

耿定理在1584年去世。同年耿定向被召回北京任左金都御史。他在信里提出李蛰迷误耿氏子弟，这种指责促使李蛰迁居麻城。多年以后，他还认为这是耿定向有意识地给他以个人侮辱。

李蛰好强善辩，不肯在言辞上为人所授，在做官的时候也经常与上司对抗。和耿定向闹翻之后，他更为重视自己的独立不羁。按本朝的习惯，退休的官员被称为“乡富”，也就是意味着他仍然具有官员的身分，要受地方官的节制。地方官可以邀请他协助处理有关的事务，也可以邀请他参与重要的典礼。这种权利和义务，在别人或许会引以为荣，而在李蛰则是精神上的压力。他说：“弃官回家，即属本府本县公祖父母管矣。来而迎，去而送；出分金，摆酒席；出轴金，贺寿旦。一毫不谨，失其欢心，则祸患立至。”剃发为僧，除了避免亲旅的纠缠以外，摆脱这些牵制也是一个重要的因素。

李蛰虽然身入空门，却没有受戒，也不参加僧众的学经祈祷。他喜爱清洁成为癖好，衣服一尘不染，经常扫地，以至“数人缚帚不给”。在很多方面，李蛰保持着官僚学者的生活方式。例如，即使是短距离的外出，他仍然乘轿；对于书本不愿亲自阅读，而是让助手朗诵以省目力。

退休以后的十几年，李蛰主要的工作是著述。他的著作大部分都在生前刊刻印行，芝佛院中有一间屋子专门堆放书板。著作的内容非常广泛，包括儒家经典的阐释、历史资料的观察、文学作品的评论以及伦理哲学的发挥，形式则有论文、杂税、诗歌、书信等等。但是涉及面虽然广泛，却并不等于具有多方面的精深造诣。他写作的历史，对史实没有精确的考辨，也没有自成体系的征象。大段文章照史书抄录，所不同的只是按照自己的意见改换章节，编排次序，再加进若干评论。在接触小说的时候，他所着眼的不是作品的艺术价值和创作方法，也就是说，他不去注意作品的主题意义以及故事结构、人物描写、铺陈穿插等等技巧。他离开了文学创作的特点，而专门研究小说中的人物道德是否高尚，行事是否恰当，如同评论真人实事。再则，即使是阐述哲学理论，也往往只从片段下手，写成类似小品文，而缺乏有系统的推敲，作为结构谨严的长篇大论。惟其如此，当日的士人，对于“李氏《藏柳》、《焚抑人》一册，以为奇货，就大多感到难于理解。

要正确认识此中关系，务需探求李蛰的写作目的。他的各式各样的著作，无非异途同归，其着眼在把读书人的私人利益与公众的道德相融合。从这点出发，他的写作，有如使用各种乐器演奏同一支交响曲。公私冲突之中能否设法调和？如果他还没有做出恰当的答案，至少已经提出了这个问题。这是一个迫切的问题，对读书人来说，足以影响他们良心与理智的完整性。李蛰自身的经历，使他对问题的认识更为深刻，表达更为有力。所以，他的著作仍能获得读者的欣赏。其中衷曲，在一封写给耿定向的信里发挥得淋漓尽致：