开始，局势对北伐军有利。张作霖不禁有些发慌，已经在做逃回奉天仍然当他的“东北王”的打算。就在这时，广东革命政府中，国民党与共产党发生分裂。1927 年4 月12 日，蒋介石在上海发起消灭共产党的政变。7 月15 日，汪精卫又在武汉发动政变，与蒋介石相呼应。北伐军因此而暂时停滞不前。张作霖得到了喘息的机会。他一方面在北方树起“讨赤”大旗，搜捕、屠杀共产党人；一方面又派人到南方奔走，向蒋介石宣称张作霖是孙中山的老朋友，一直支持“三民主义”，现在愿意与蒋介石共同召开国民会议，解决时局问题。可是双方都没有和平谈判的诚意。而张作霖却趁着北伐停止的机会，组织“安国军政府”，自己得意洋洋地当起了“陆海军大元帅”，也算过过当“国家元首”的瘾。

也就在这时，张作霖同日本军阀的关系开始恶化了。

原来，张作霖在当“东北王”时，为了实现他统治全中国的野心，拼命投靠日本人，只不过是争取日本人支持的一种手段。一旦他进了北京，当上了“安国军总司令”，就同日本人耍开了赖皮，过去答应日本人的种种条件，都一推再推地不肯兑现；同时，他又积极同英国、美国联络，争取英国和美国的支持，希望借英、美的力量来削弱日本在中国的势力。在日本人眼里，张作霖是越来越不听话了。

1927 年6 月底7 月初，日本政府举行了一次重要的“东方会议”，商讨针对中国的政策。会上讨论的一个重要问题，就是如何对付张作霖。这次会议得出一个结论：就是日本如果想征服世界，首先必须征服中国；而征服中国首先又必须征服东北。但是在具体对待张作霖的问题上，却没有达成一致的意见。外交部主张继续利用张作霖，迫使张作霖听命于日本；而关东军则认为张作霖已成为日本征服东北的障碍，必须消灭张作霖。会后，外交部和关东军便各自按照自己的意见开始行动。外交部派出了一系列外交使臣，向张作霖发动外交攻势，有的威胁，有的利诱，有的恐吓，有的哄骗，把张作霖搞得心烦意乱。张作霖不得不对日本作出一些让步，以个人名义批准日本在东北再修四条铁路。日本方面坚持要签订两国政府间的正式协议，张作霖坚决不答应。而这个消息透露出去后，东北地区掀起了声势浩大的反日运动，英、美等国也指责张作霖给了日本在中国的特殊的权力。张作霖两面受敌，十分狼狈。更要命的是，蒋介石政府又重新调兵向北进发，张作霖的“安国军”节节败退，战局对“安国军政府”十分不利。

1928 年1 月，蒋介石政府派张群到日本向日本首相表示：如果日本能迫使张作霖退回东北，他们的军队将不向东北进攻。

日本政府立刻被这个建议吸引了。他们很担心战争打到东北去，使日本在东北的利益受到损害。日本外交部当即派人找到张作霖，劝他退回奉天。

张作霖则坚持要同北伐军决战，真正打败了，再退回关外也不迟。

到了这年5 月，北伐军已经逼近北京和天津。日本唯恐战火会向东北蔓延，再三向张作霖施加压力，强迫他及早退出北京，返回奉天。5 月17 日晚，日本驻中国公使芳泽又会见张作霖，警告张作霖如果打败了，未必能再回到东北去，甚至宣称，日军将解除张作霖军队的武装。与此同时，日本关东军迅速开赴沈阳、锦州、山海关等战略要地，关东军司令部也从旅顺迁到沈阳。