历史上历来对张作霖褒贬不一。张作霖的确是一位传奇人物，家境贫寒，只是粗通文墨，却能在东北乱世中杀出一片天地来，甚至最后成为北洋政府的最后一位总统，当真不简单。
张作霖出生寒微，他的先祖张永贵因为生活无着，跑到东北从事农业开垦。到他祖父张发时，从事的是农耕，称为“素封”。所谓“素封”，是指虽然没有官爵封邑，却和受封者一样富有。也就是说，在张发时，张家是富有的。张发有四个儿子，第三子就是张作霖的父亲，名叫张有财。张发死后，家产分给了兄弟几人。张有财带着他的那份财产，来到了海城。
张有财是个游手好闲之徒。先是开了一个小杂货铺，收入微薄。后来小杂货铺倒闭，他又不愿干活，就整天赌博胡混。后来因为欠人家赌债，张有财被仇家债主害死。那年的张作霖13岁。
张作霖本来没钱念书，但是有一位好心的老师帮了他的忙。这位老师名叫杨景镇，那时正在教私塾。有一天，他看到窗外有一个小孩在偷偷听他讲课，便好奇地叫他进来一问，小孩答道：“我叫张作霖，我愿意念书，家穷，上不起学，因此常在这里偷听。”杨先生感到这个小孩想读书识字是好事，就免费让他上学，还赠给他纸笔。就这样，张作霖读了一段私塾，打下了初步的文化基础。这在他的一生中是十分重要的。
父亲张有财死后，家庭生活更加困难，没有办法，张作霖的母亲王氏只得带着4个孩子投奔到镇安县（现在的黑山县）小黑山附近二道沟娘家。张作霖有两个哥哥，一个妹妹。娘家一下子添了五张嘴，生活非常艰难。张作霖知道不能指望家里了，就开始到社会上混饭吃。
那时的中国一片混乱，东北地区情况更严重。清朝政府腐败透顶，中国大好河山任人宰割。沙俄强行割去中国领土一百多万平方公里，仍觊觎中国东北的广袤土地；中国甲午战败，日本魔爪深入中国东北；官吏横征暴敛，百姓不堪忍受。亡命之徒便铤而走险，啸聚山林，打家劫舍，百姓生活更加痛苦了。
张作霖小时候就常跟他的父亲出入赌场，受到熏陶，也爱赌博。开始时，他靠卖烧饼赚点钱，可是很快就输光了。他的母亲让他改学木匠，他嫌拉锯太累，不爱干。他一度曾流浪街头，沿街乞讨。后来，他流浪到营口高坎镇，在大车店给人家打杂。有时骡马病了，他就弄点草药给治，还真的就治好了。他很聪明，一来二去，就成了兽医，这个行当他还是比较喜欢的。命运多舛，后来，张作霖被人冤枉，遭受痛打差点送命。经好心人的帮助才得以不死，却已经走投无路。恰在此时，中日甲午战争爆发，他便抱着一线求生的希望从军了，投到宋庆毅军马玉峎的门下，当了一名骑兵。张作霖喜好马匹，“以精骑击，得名擢哨长”。
战败后，张作霖逃回了辽西。1895年，他21岁，同赵家庙地主赵占元的二女儿赵春桂结了婚。赵春桂是张作霖的原配夫人，也是张首芳、张学良、张学铭的生母。张作霖是个不甘寂寞的人，他不想像他的同乡那样过着衣食无着、平淡无味的生活，他想活出名堂。
战后的辽西是个三不管地区。散兵游勇成群，乞丐难民遍野。官府腐败，土匪横行，百姓的生命安全受到严重威胁。在这种情况下，各地就相应地成立了一些自保的武装组织，名曰大团。1900年，张作霖得岳父赵占元的帮助，在赵家庙成立了一个大团，他当上了小头目，负责附近几个村子的治安。他负责的地区称为保险区。张作霖在保险区内很守规矩，不仅遵章守纪，而且维护治安。张作霖也因此得到村人的称赞，由此声名鹊起。后来他管辖的范围逐渐扩大，达到二十多个村子。
在赵家庙的西北有个大团，团主叫金寿山。金寿山收罗了一批地痞流氓，组成了一百多人的大团。大团的总部设在中安堡，周围地区都是他的保险区。金寿山在保险区内横行霸道，无恶不作，比胡匪还凶残。大团本来是保民的，可是金寿山却专门害民。百姓被逼得实在没有办法，就去请名声较好的张作霖来帮忙。张作霖率众驱走了金寿山，占据了中安堡。他的部众增加了，势力又扩大了。但是，金寿山在1901年腊月三十夜半偷袭了张作霖。张作霖携带妻女率众突围，逃到了姜家屯，继而又逃往八角台。在逃往八角台的途中，身怀六甲的赵氏在马车上生下了一个男孩，这就是张学良。
八角台是个大集镇，商号有五十多家。本来张作霖是想从八角台借道投奔辽南的绿林冯德麟的，但是到了八角台，这四十多人就被留下了，借以保护当地地面。这都得益于张作霖的名声好，不扰民。从此张作霖就在八角台落了脚。这里也成了他的发家地。
战后乱了几年，到1902年，社会秩序逐步稳定。这两年张作霖苦心经营他的武装，势力大为扩展。他也尽职尽责，起到了保境安民的作用。同时，他和当地绅商也相处融洽，得到了他们的交口赞誉。但是，随着社会秩序的稳定，地方自治武装也就失去了存在的价值。按理张作霖的大团应该遣散掉，团民应该回家务农或者进城经商。但八角台商会会长张紫云考虑到遣散这一武装、团民四散，很可能危害地方。同时，他也和张作霖结下了友情，就想给他们找个出路。为此，张紫云同有关人员商量，拟将这一武装交给政府。这个提议得到绅商的赞同。于是，他们向新民府知府增韫正式推荐张作霖，对张作霖大加赞扬。
增韫接见了张作霖，张作霖以弟子身份对他行了叩见礼，称他为老师。通过亲切的见面和谈话，增韫感到张作霖是个温文尔雅的人，对他有很好的印象，便命张作霖整理队伍，将他们带到新民府听候点编。这对张作霖而言真是喜从天降。其实，张作霖的政治野心很大，他深知经营民团不是长久之计。他早就想“改邪归正”，被政府收编。
张作霖急忙回到八角台，积极招兵买马，扩充队伍。因为他和增韫说了大话，吹嘘自己有一营人马，实际上只有一百多人。于是他便大力开展组编活动，吸收了辽西一些小股匪帮，人数够了，就率队到新民府接受点编，成立了新民府巡警前路游击马队。张作霖被任命为帮办（副营长），队伍仍驻扎在八角台。
第二年，即1903年7月，张作霖所部和新民街巡捕队合并为巡防马步游击队，张作霖为管带（营长），队伍移驻新民府，负责地方治安，并兼剿胡匪。就这样，张作霖由一个民团武装的头目摇身一变，而成为政府官军的军官了。这是他人生的一个重大转折。从此，依靠这支武装，他便平步青云，扶摇直上了。
张作霖为人机敏，长于计谋。来到了新民府的生疏环境，他知道如何自处。他把争取增韫的信任摆在首位，投其所好，勤恳顺从，谦恭有礼；同时，笼络绅商，认真办事，约束部下，管理有方。这就深得知府增韫的赏识，张作霖被他倚为不可或缺的左膀右臂。张作霖又略施手腕，挤走了新民府的巡警局长王奉廷。这样，没费太大的劲儿，张作霖就控制了新民府的军事实权。在这方面，他表现了巧于应对的能力。
这个能力还表现在残酷的日俄战争中。1904年2月，在我国东北爆发了日俄战争。两个帝国主义国家在我国东北展开厮杀。腐败的清政府竟然宣布辽河以东为战区，以西为中立区。战争打响后，哪还管什么中立区、战区。日俄匪军烧杀淫掠，无恶不作。东北土匪蜂起，百姓遭殃。处在辽西的新民府是个重镇，张作霖除了要维护境内的治安外，还在盘算如何增强自己的实力。他的原则是谁给我好处，我就帮助谁。一开始，俄军强大，他就接受俄军的枪械和金钱，帮助俄军。因为这个缘故，后来他还曾被日军俘虏，差点被处死。可被释放后，他又同日军签订誓约，“立誓援助日本军”。
正因为他识时务，1905年日俄战后，他的部队不但没受损失，反而扩编为3个营。在日俄两大帝国主义战争夹缝中生存的张作霖，充分显示了处理复杂问题的能力。因为政声颇佳，1906年，张作霖又升官了。新任的盛京将军赵尔巽和新任的新民府知府沈金鉴一齐下令，将张作霖的部队由3个营扩编为5个营，张作霖当上了统管5个营的统带（团长）。
成了官军的张作霖对为害地方的胡匪十分痛恨，极力剿杀。在他的连年痛剿下，辽西的小股胡匪或被招抚，或被剿灭。就连党羽千余的大悍匪田玉本也被张作霖部击毙。百姓称快。
但是，还有一个奸诈凶残的土匪杜立三很难对付。杜立三盘踞在辽中县青麻坎。杜立三的势力越来越大，官军拿他没辙。他自称马上皇帝，在他盘踞的地方随意封官许愿，老百姓看见他都称他为杜大人。实际上，他已经形成了割据之势。盛京将军赵尔巽曾下令“严密访拿”，几次派兵进剿，但都败下阵来。1907年清政府在东北建立行省，任命徐世昌为东三省总督。徐世昌为了除掉这个心头之患，特派知县殷鸿寿到新民府，协助张作霖剿灭杜立三。
关于对杜立三是强攻还是智取，他们进行了仔细的商讨。杜立三自诩为马上皇帝，马上功夫了得，能双手使枪，弹无虚发。而且他所在地城池坚固，他的徒众又凶顽，境内关卡林立，防备极严。如果像以前那样派兵强攻，恐怕师劳无功，难以奏效。因此，他们决定智取。张作霖设了一计。他派人到辽中县送上一封贺信，祝贺杜立三被奉天省招抚，当上了大官，官位比张作霖还高，让杜立三速速到新民府来面谒省里的招抚大员，以便到奉天向徐世昌总督致谢。杜立三察觉有诈，不敢贸然行动，先跟他的母亲和兄弟商量。他们也认为到新民风险很大，凶多吉少，都不主张杜立三去。此计落空，张作霖没有灰心，又生一计。他想到了黑山秀才杜泮林。杜泮林是张作霖的义父。张作霖在中安堡当保险队头目时，同绅士杜泮林结下交情，来往密切，关系笃厚。张作霖知道杜立三拜认杜泮林为同族叔，对杜泮林言听计从，十分尊重，就想打杜泮林的主意。他和殷鸿寿密谋，用杜泮林引诱杜立三上钩。
张作霖特地亲自到黑山把杜泮林接到新民府，并把他引见给省城大员殷鸿寿，以证明确实是省里招抚，并非虚构。又在新民街上，为杜泮林另设招待处，请杜泮林在招待处稍事休息，等候杜立三来到之后，再一同前往省府晋见。秀才杜泮林是个老实人，不知道这是个计谋，就给杜立三写了一封亲笔信，言辞恳切，感情真挚，有“游侠非终身之事，梁山岂久居之区；一经招安，不仅出人头地，亦且耀祖荣家”等语。
杜立三本来疑信参半，犹豫不定，突然得到他素来景仰的族叔的亲笔信，便疑念顿消，决定前往。1907年6月6日，杜立三仅率13人作为随身护卫，由宋庆濂带领，奔向新民府，接受封官去了。他哪里知道此去是有去无回了。张作霖为了不出意外，事先做了周密布置。
杜立三只身赴会，十分警惕。在晋见委员殷鸿寿时，他坐在背靠墙壁面对诸人的位置，同时两手插入兜内，握住枪柄，观察动静，以应突变。谈话完毕，殷鸿寿高声喊道：“送客！”杜起身告辞。殷鸿寿把他们送到里屋门口，杜立三正要转身请殷鸿寿“留步”时，刹那间，被汤玉麟等几个壮汉按倒，收缴了双枪，死死捆住。
事不宜迟，他们当晚就把杜立三在新民府西门外枪决了。其实，在这之前，张作霖早已派张景惠率大队人马，绕道台安八角台，做好进击杜立三老巢的准备。得到处决杜立三的消息后，张景惠等迅速出击杜立三的老巢。群龙无首，杜立三的老巢辽中县青麻坎，被一举端掉。除掉了杜立三，扫除了一大害，人心称快。
得此消息后，总督徐世昌喜出望外，上报清廷，为张作霖请奖。清廷除赏银五千两外，还将张作霖升为奉天巡防营前路统领（旅长），张作霖成为东北旧军5个举足轻重的武装力量之一，势力更加壮大了。
1908年，徐世昌把剿匪得力的张作霖调到辽宁西北部的通辽、洮南一带，去剿除被沙俄收买的蒙古叛匪。
这一带是蒙匪活动的根据地。他们熟悉地形，了解民情，精于骑射，行踪无定，打了就跑，渺无踪迹。其中有几股大的蒙匪扰害边疆已有数年之久，此起彼伏，蔓延为患，被视为巨寇。
这些“巨寇”不除，国家不得稳定，百姓不得安宁。张作霖当此重任，开始并不顺利。后来，他采用了强攻和智取两手策略，派人打入蒙匪内部，取得情报，而逐渐扭转了劣局。1909年，徐世昌看到张作霖的兵力不足，便给他扩编，增强他的实力，把他的5个营扩编为7个营，又将驻扎在洮南的孙烈臣部划归张作霖部。这样，张作霖的部队就增至3500人，成为东北的一支劲旅。
张作霖是个很知道感恩的人。受到东三省总督徐世昌如此青睐、如此器重，他剿匪更加努力了。同时，他也在不断地总结剿匪的经验教训，摸索出一套可行的规律。他本人吃苦耐劳，身先士卒，经过年余苦战，终于将白音大赉击毙，生擒牙仟，并打败了陶克陶胡。后来追击陶克陶胡800里，一直将陶克陶胡赶到俄国。危害东北边疆多年的蒙匪之患解除了，打击了蒙古分裂主义分子的嚣张气焰，维护了国家的统一和民族的团结。
纵观张作霖的政治生涯，智进奉天省城是一件具有重大意义的事。1911年10月10日，武昌起义爆发，各省纷纷响应，脱离清政府，宣布独立。奉天省的革命党人早有活动，新军中的蓝天蔚等人也在从事着革命活动。武昌起义的消息传来，东北革命党人群情振奋，准备积极响应。当时以蓝天蔚为协统的新军第二混成旅驻扎在奉天的北大营，这是省城的唯一一支驻军。
由于经验不足，革命党人没能抓住先机。辛亥革命爆发时，东三省总督赵尔巽正在外面视察，得到消息便急忙赶回奉天，连夜开会，研究对策。得知握有兵权的蓝天蔚等革命党人正在酝酿起义时，他顿时吓得不知所措，并表示他即将入关，其实也就是要逃跑的意思了。这时，奉天省咨议局副议长袁金铠立即跪求劝阻，并建议重用巡防营旧军。这个建议使赵尔巽如获至宝、茅塞顿开。他思忖，地方巡防营的将领都是忠于他的守旧军人，同革命党人没有任何联系，正是他可以利用的镇压革命党人的军事力量。于是他马上密调后路巡防营统领吴俊升率部自通辽速来奉天，以防备革命党人起事。
这个重要的消息在这时被张作霖在奉天的部下探知。这个人就是张作霖驻奉办事处处长张惠临。他深知事关重大，就以最快的速度，把这个消息密报给张作霖。张作霖是个有很大政治野心的人。为此，他早就在观察奉天省城的动静。他曾密嘱到奉天讲武堂学习的各营管带注意省城的军政动向，并及时写信报告。同时，他对全国的政治形势也是极为关注的。得到这个重要消息后，张作霖认为这是天赐良机，不可错过。他当机立断，立即亲率所辖步骑7个营的全部人马，从洮南出发，马不停蹄，日夜兼程，直奔奉天。路过辽源时，吴俊升等人出城迎接，张作霖只是跟他虚与委蛇，不露实情。
到达奉天省城后，张作霖为争取主动，马上晋见赵尔巽，诚惶诚恐地说：“因局势紧张，唯恐总督陷于危境，迫不及待，率兵勤王。如总督认为未奉命令，擅自行动，甘愿接受惩处。”赵尔巽急需用兵，感到张作霖来得恰逢其时。张作霖又信誓旦旦地说：“请恩师听我部署，只要我张作霖还喘着一口气，我愿以生命保护恩师，至死不渝。”张作霖这一披肝沥胆的表态，深得赵尔巽的嘉许。因此，张作霖不但没有受到惩处，反而得到夸奖。除补发调防令外，赵尔巽又命张作霖兼任中路巡防营统领，以加强忠心耿耿的张作霖的军力。这样，张作霖就统率15个营的兵马了。
此时，张作霖实质上已经是奉天省现有部队最大的军事力量的首领了。
东三省总督赵尔巽有了张作霖这个拥有军事实力的保镖，就有恃无恐了。他们先是迫使新军将领通过了赵尔巽提出的“保境安民”的主张，继而又在奉天国民保安公会上贯彻赵尔巽的保皇主张，成立了由前东三省总督赵尔巽为会长的奉天国民保安公会。在这个过程中，张作霖都扮演了一个流氓打手的角色。
武昌起义爆发不久，奉天省的革命党人云集省城，研究运用何种方式响应武昌首义，经过反复争论，最后决定采取和平手段，进行东北革命，即“谋运用政治手腕，实现东三省革命”。革命党人的首领蓝天蔚、吴景濂等事先密议，用会议的方式兵不血刃地夺取东北政权。拟由吴景濂以奉天省咨议局议长的名义，召集省城各界领导人开会，在会上解决这个问题。他们研究了一个方案，以维持治安为名，成立奉天全省保安会，逼走东三省总督赵尔巽，然后推举蓝天蔚为关外都督，吴景濂为奉天省民政长，脱离清廷，宣布独立，完成东三省革命。如果“东北大局既定，继进兵关内，会师燕郊，直捣虏穴”。
1911年11月12日，吴景濂以自己的名义召开保安大会，试图以会议表决的方式，一举夺得东北大权。绅商各界到会的有二百多人，赵尔巽也到会，他带来了张作霖。会上还有他的支持者，如袁金铠等。
这次会议，老辣的赵尔巽早有准备。他派张作霖在会场内外布置人马，持枪待命，明施压力。张作霖则持枪赴会，满脸杀气。会场气氛非常紧张，大有一触即发之势。革命党人并没有胆怯，慷慨陈词，主张脱离清廷，宣布独立。赵尔巽极为不满，表示坚决反对。他说：“你们要搞自治还可以商量，独立？怕有不便吧？”他的话还没讲完，就被革命党人的发言驳回，革命党人强烈要求赵尔巽宣布独立。
这时，张作霖急不可耐地跳了出来，把手枪往桌子上一拍，蛮横凶恶地叫道：“我张某身为军人，只知听命保护大帅。倘有不平，我张某虽好交朋友，但我这支手枪它是不交朋友的。”这是个信号，会场四周他的党徒，均立刻抽出手枪，情况极为险恶。在这种情况下，已经没有办法再讨论下去了。倾向革命的议员，都纷纷愤然离开会场，但这也就等于把这个会议的主动权让给了保皇派。
会议一度中断，后来又复会。这时由赵尔巽的党羽袁金铠以副议长的身份主持会议，会议意见自然一边倒，最终成立了奉天国民保安公会，赵尔巽任会长，伍祥祯、吴景濂任副会长，袁金铠任参议总长，蒋方震、张榕任参议副长。这个保安公会实质是个变相的保皇会。他的会长仍然是东三省总督兼东三省将军和奉天巡抚赵尔巽，东北大权仍然掌握在他们的手里。而革命党人吴景濂、蒋方震和张榕不过是为了掩人耳目的摆设罢了。而张作霖则当上了保安公会军政部副部长，取得了军事实权。这一回合，幼稚的革命党人没有斗过老辣的保皇党人。
这次会议本来是由革命党人蓝天蔚等发起的，目的是推举蓝天蔚为关外都督，但结果让赵尔巽占了上风。赵尔巽深知兵权的重要，他必须立刻剥夺蓝天蔚的兵权。于是，他于成立保安公会的第二天，向袁世凯发一密电：“此军即令聂汝清暂兼协统，并留奉防，可保目前治安。”这就是说，第二混成协的协统由原任该协标统的聂汝清担任了。这个聂汝清是个顽固守旧的军人，坚决反对革命，是忠于赵尔巽并最让他放心的奴才。赵尔巽把第二协的兵权交给了他。
这还不够，老奸巨猾的赵尔巽还把蓝天蔚挤到了关内，让他远离东北，以免在他的眼皮底下变生事端。他的手法是很高妙的。在成立保安公会的第三天，即1911年11月14日，赵尔巽就以考察的名义，把蓝天蔚派到了关内。把拟任关外都督的人选撵到关内，使关外的革命没有了领袖，赵尔巽的这一着是够狠毒的了。在挤走蓝天蔚的过程中，张作霖曾与蓝天蔚发生冲突，张作霖想下掉蓝天蔚的枪，被赵尔巽假意制止。但这一举动，也给蓝天蔚构成了威胁。
这以后，张作霖又任“奉天国民保安会”军事部副部长，大力镇压革命军，受到清廷破格升赏，出任“关外练兵大臣”，赏顶戴花翎，被派任掌管奉军军事大权的巡防营务处总办；袁世凯出任大总统后，1912年，他被任命为第27师中将师长；袁世凯称帝后，他被封为子爵、盛武将军，督理奉天军务兼巡按使；袁死后，他又被北洋政府任命为奉天督军兼省长、东三省巡阅使，成为奉系首领。
张作霖的政治野心还不止于奉系首领，他一直以东北为基地，不断向关内扩张势力。1920年7月，直皖战争爆发前，奉系与直系共同把持了北洋政府。1922年4月，张作霖发动第一次直奉战争。战败后，张作霖挟“东三省议会”推举自己为东三省保安总司令，宣布东北自治。1924年，他又发动第二次直奉战争，这一次奉系打败了直系军阀，控制了北洋政府。1926年，张作霖称安国军总司令，并于6月18日在北京就任北洋军政府陆海军大元帅，代表中华民国行使统治权，成为国家最高统治者，并组成北洋军阀统治时期第32届（也是最后一届）内阁，成为北洋军政权最后一个统治者。
1928年4月，在蒋、冯、阎、桂四大集团军的攻击下，奉军全线崩溃。6月2日，张作霖声言退出北京。6月4日，在返回东北的途中，张作霖被炸死在沈阳皇姑屯车站附近，结束了他具有浓厚传奇色彩的一生。
张作霖的死，日军、俄军、国民军、军阀都有嫌疑，被认为最可能是凶手的是日军。当时日本为了掩盖真相，诬指皇姑屯事件是“南方便衣队员”所为。直至1946年7月，“远东国际法庭”开庭审判日本战犯时，真相才大白于天下。日本前田中内阁海军大臣冈田启介出庭作证，供认张作霖被炸是关东军所为。
因为张作霖是当时中国的实际国家元首，谋杀一国的国家元首理应是违反国际法的行为，所以皇姑屯事件被视为日本侵华的起点。
日本关东军是出于什么样的目的，要炸死张作霖？
据当时情况看，一般人都认为张作霖在东北的政权是日本政府极力维护的，如郭松龄与冯玉祥联军反奉时，倘若没有日本人公开阻止郭军前进，恐怕张作霖早就下台了。张作霖的北洋政府如果不是日本出兵济南阻北伐军北上，恐怕也早就支持不住了。
为什么愿意出兵济南、阻止北伐军的日军竟然要阴谋炸死张作霖呢？这是因为，日本军的一切行动，都是以侵吞东北为目标的。日本认为，在东北确保日本的既得权利这方面，张作霖要比郭松龄可靠得多；北洋政府要比国民党政府对日本有利得多。所以日本要维护张作霖政权。可是当田中义一要实行他奏折上所计划的侵吞东北计划的时候，张作霖就直接变成它的障碍了。
日本田中义一上台后，向张作霖强索铁路权，逼张解决所谓“满蒙悬案”，从而激起了东北人民的反日怒潮。沈阳两万人示威游行，高呼“打倒田中内阁”。张作霖在全国反帝浪潮的冲击下，未能满足日本在“满蒙”筑路、开矿、设厂、租地、移民等全部要求，并有所抵制，这为日本内阁所恨。而且日本关东军断定东北人民的反日游行是由张作霖煽动所导致，对他恨之入骨。
1928年5月，北伐军直逼京津地区，日本帝国主义感到奉系军阀政权已经岌岌可危，但仍然想从奉系手中捞到最大限度的好处，于是一面支持张作霖，出兵山东对抗北伐军，另一面又向张作霖施加压力，威逼张作霖及早退回东北，企图利用张作霖这个工具，使“满蒙”从中国本土肢解出去，置于日本势力之下。
北伐军逼近北京时，日本驻华公使威胁张作霖“将来奉军败兵如经山海关，日兵须将其缴械”。张作霖在答复中表示“东三省及京、津为中国领土，主权所在，不容漠视”，反对日本政府公然干涉中国内政。
日本政府借口北伐军节节胜利，发表声明说：“一旦战乱波及满洲，帝国政府为维护治安，将采取适当和有效的措施。”同时命令旅顺的关东军进驻奉天，另一方面还训令驻北京的芳泽公使，劝告张作霖撤回关外，巩固在“满洲”的地位。
张作霖对此未加理睬，并且在济南事件爆发时，通过新闻记者声明，愿意南北合一、共御外侮。因为撤回关外就意味着完全沦为日本关东军的傀儡。在民族运动高潮面前，张作霖是不甘心做卖国贼和傀儡的。
几经交涉，日本最后恐吓张作霖说：“如果不听劝告，同国民党军队继续冲突，失败后想退回满洲时，日本军队可能在山海关予以拦击。”在这种危机情况下，张作霖才决定撤出北京重返东北。
而此时，炸车阴谋已正式被日军提上日程。日本政府当时谋杀张作霖的计划基本上是“九一八”事变的前奏，日本妄想制造东北独立，然后进行吞并。1927年7月，田中义一就代替民政党掌握了政权，在他执政的前后，他制定了有名的田中奏折，在这个奏折里阐明了以日本天皇为中心的“八纮一宇”精神，要征服全世界，必须先征服中国，要征服中国，必须先征服东北。皇姑屯炸车阴谋，就是田中义一执政后实行其征服世界的第一步。然而当时日本内阁的政策遭到元老重臣的反对，加之外受美国的压力，所以5月25日夜，田中义一断然决定停止一切行动，进驻奉天的关东军也不得不迅速恢复平时状态。但是，军部特别是关东军并未按照内阁下达的精神行事，在6月4日将张作霖炸死。
经过种种研究，关东军认定唯有巨流河铁桥是最好的地点，特派工兵中队长详细侦察附近情况。由于奉军的警戒十分严密，关东军参谋河本大佐等人认为至少需要准备一个星期左右时间。最后，关东军选择了一个比较自由的地点，即南满线与京奉线交叉的皇姑屯附近的三洞桥。因为日本占领的南满铁路在桥上面，张作霖管辖的京奉铁路在桥下面，这便于日军自由行动，又有利于警戒。他们准备采取两种手段：一是袭击列车，但将留下明显证据；二是炸车，万一这一爆破计划归于失败，马上制订第二步骤，使列车颠覆，趁着混乱，让大刀队闯入杀掉张作霖。河本大佐指使守备中队长东宫铁男大尉指挥，由福田、神田两个大尉负责勘定炸车地点，日军用卡车载来了两千多磅的强力炸药，装置在三洞桥北侧的两个花岗岩石的桥墩上。埋伏好后，夜间日本哨兵严格把守，不允许任何人接近三洞桥。到了拂晓，日本哨兵陆续躲进兵营。
1928年6月3日晚6时，张作霖乘坐由奉天迫击炮厂厂长沙顿驾驶的、在英国定做的黄色大型厚钢板防弹汽车，开往火车站。随行的人员有吴俊开、潘复、周大文、刘哲、莫德惠、于国翰、张作霖的六姨太和三儿子张学增、日籍顾问町野和仪我等人。张作霖专车共22节，张作霖乘坐的80号包车在中间，包车厢后是餐车，前边是两节蓝钢车，潘复、刘哲、莫德惠、于国翰等在两节蓝钢车中。专车前面还有一列压道车。
晚8时，专车从北京车站开出。4日清晨，日本驻奉天总领事林久治郎很早就起床，站在自己住的房屋顶上，用望远镜观察三洞桥。5点23分，当张作霖乘坐的专车钻进京奉铁路和南满铁路交叉处的三洞桥时，日本关东军东宫铁男大尉按下电钮，一声巨响，三洞桥中间的一座花岗岩石的桥墩被炸开，桥上的钢轨、桥梁被炸得弯弯曲曲，抛上天空，张作霖的专车被炸得只剩一个底盘。吴俊升被炸得血肉模糊，头顶穿入一个大铁钉，脑浆外溢，当即死亡；张作霖被炸出三丈多远，咽喉破裂；日籍顾问仪我满面是血，抱头大叫；校尉处长温守善被埋在碎木下面；周大文炸破了手；六姨太炸掉了脚趾头；莫德惠受了伤。
奉天省长刘尚清闻讯赶到现场。张作霖被救至沈阳“大帅府”时已奄奄一息。死前，张对卢夫人说：“告诉小六子（张学良的乳名），以国家为重，好好地干吧！我这个臭皮囊不算什么，叫小六子快回沈阳。”
张作霖专列被炸后，东北政局立呈险兆。6月5日深夜，奉军兵车在锦州、榆关之间脱轨倾覆，京奉路一度中断。10日、12日，奉天城内接连发生投掷炸弹事件。政治流言四起，日本在东北复辟清廷之说甚嚣尘上。同时，关东军云集奉天，举行军事演习，高唱“南满是我们的家乡”。日本军部特别是关东军的阴谋打算，就是想趁东北军队大部分都在关内，张作霖以下的重要人物全在车上，一下子炸死这帮人。这样奉天必陷于混乱，关东军可以借口保护日侨和其特殊权益，而一举占领奉天，再组织傀儡政权。
然而日军的阴谋并没有得逞。为防止日军趁机举动，奉天当局决定对张作霖之死秘不发丧，发表通电称：主座“身受微伤，精神尚好”，“省城亦安谧如常”。大帅府邸依然灯火通明，“烟霞”阵阵。杜医官每日仍然按时到府上班，填写病案。厨房每日三餐仍旧按时送饭进去，家人一律不啼哭，不穿孝服。日方天天派人“慰问求见”，均被“婉言谢绝”。主持家政的五夫人浓妆艳抹，与前来窥探虚实的日本太太们从容周旋。这使得日本军警想寻衅都找不到借口，奉天当时并没有一点混乱现象。另一方面，他们对张作霖和吴俊升被炸的情形也保持了极严格的秘密。同时，奉天当局下令全城戒严以稳定局势，并要求日方严格管束浪人，以免扰乱社会治安。张学良潜回东北后被推举为东北保安总司令。6月11日，奉天省长刘尚清致电南京国民政府，表示愿服从南京政府，悬挂青天白日旗，希望勿对东三省用兵，史称“东北易帜”。
直到半个月之后，才正式发表张作霖死亡的消息。日本人一直得不到肯定的真相，所以不敢贸然行动。关东军武装侵略东北的阴谋没有得逞。
张作霖是一位具有浓厚神秘色彩的历史传奇人物。他由一介粗通文墨的草莽武夫，在风云际会中乘势而起，一跃成为地位显赫的中华民国陆海军大元帅。
当时的军阀基本上都是反对民主的，虽然在现在看来很多军阀是倚靠帝国主义国家作后盾，然而张作霖实际上并没做过丧权辱国的事情。在那样的国家现状中，要想彻底反抗所有外国势力是根本不可能的事情，而张作霖在这样的情况下，可以巧妙地同日本周旋，已经不容易了。他虽然利用了日本，但日本却在他这里没有得到过什么实际的好处。张作霖从未同日本签订过一条丧权辱国的条约。一直到最后被日本暗杀，他一生时刻都清醒地抵抗着外国侵略者。