张作霖此时真是四面受敌，他决不敢真的放弃东北这条退路。无可奈何之下，张作霖屈从了日本的压力，在5 月30 日下了总退却令；6 月2 日，又发布了“出关通电”，表示自己将退出山海关，回到东北去。

然而，日本关东军司令部却认为，同张作霖谈判是“无济于事”的，不如干脆把他除掉，免得他碍手碍脚。他们并且希望，张作霖的死能造成东北的大混乱，因为张作霖的儿子张学良一定要报这杀父之仇，而张作霖的部下也会发生动荡甚至分裂，这时日军就可以借口保护日本侨民，解除东北中国军队的武装，一举占领东北三省！所以，关东军司令官村冈和他的高级参谋河本这两个狂热的军国主义分子，就开始积极地密谋暗杀张作霖的计划。

张作霖大难临头。

东北三省面临着被日本侵占的危险。

村冈司令官原打算派竹下参谋到北京组织暗杀张作霖的行动，因为这样日军比较容易推脱责任。可是河本不同意。他认为，去北京未必能找到暗杀张作霖的合适人员和时机，万一行动失败，打草惊蛇，就绝不会有第二次机会，所以还是在东北日军能控制的地方进行有把握。他要求竹下参谋到北京后，仔细侦察张作霖的行动，特别是他回奉天的路线和时间。

同时，为了试探中国、苏联和日本政府对这一事件将会有怎样的反应，河本先在东北搞了几次爆炸铁路事件。果然，中、苏、日的报纸纷纷报道，说法不一。有的认为是侨居东北的白俄罗斯人干的，有的认为是东北军阀之间的摩擦，而没有一个怀疑到关东军头上。三国政府也没有对此作出反应。

这就使得河本的胆子更大了。他断定，炸死张作霖后，关东军完全有可能推脱罪责。

接着，河本为置张作霖于死地，做了周密的准备。他亲自勘察地形，寻找最佳爆炸地点，最后选中了京奉铁路和南满铁路交叉处的皇姑屯，因为在这里设置炸药，可以不被外界发现；而张作霖的专车只要出了皇姑屯车站，也就没有再改变车次的可能。接着，河本又精心设计了爆炸方案，并且准备了补救手段，万一爆炸不成功，就使用出轨装置把张作霖乘坐的专列翻出轨道，然后由日军敢死队——“拔刀队”的队员冲上去干掉张作霖。最后，河本又指使部下收买了三个吸毒成瘾的中国人，让他们6 月4 日凌晨到皇姑屯去“送信”，这样，日军就可以乘机杀死他们，将他们说成是炸死张作霖的凶手。

一切都按照河本的计划完成了。一张天罗地网已经布好，只等张作霖来送死了。

但是，日军行动的蛛丝马迹，已被奉天宪兵齐恩铭发现，他拍了份密电报告张作霖，说最近几天皇姑屯附近日军可能在搞什么动作，不许行人通过，请张作霖注意。张作霖没想到日本人会对他下毒手，也就没有认真对待；但他还是故布疑阵，先说6 月1 日起程回奉天，后来又改为2 日，实际上3 日才离开北京。

就在张作霖离开北京前几个小时，日本驻中国公使芳泽又一次拜访了他，仍然希望能从张作霖手中多得到点什么。张作霖气坏了，在办公厅里高声大骂：“日本人不够朋友，竟在人家危急的时候，掐着脖子要好处，我张作霖最讨厌这种办法！我是东北人，东北是我的家乡，祖宗父母的坟墓都在东北，我不能出卖东北，不能让后代骂我张作霖是卖国贼！我什么都不怕，我这条命早就不打算要了！”当时芳泽正在客厅里，听得清清楚楚，急得团团乱转。最后，张作霖草草应付了芳泽一下，就秘密地动身离开了北京。