１８岁时，他独自一人去闯了关东。挖过煤、淘过金、修过路，还当过镖手。他无所事事，整天同三教九流厮混在一起。他在关东的林莽中，练就了一身娴熟的马技和一手高超的枪法。他这个人还受武侠小说影响很深，讲江湖义气，挥金如土。因此，他在关东的山东掖县、黄县同乡中享有很高的声望。后来，他又流浪到俄国的海参崴，给一家华商公会当保安小头目，同俄国军警频繁接触，学了一些半吊子俄语。这些经历以后都成为他的无形资本。
  １９１２年，他受到南方革命军的鼓动，率领部分人到达上海，胡里胡涂地参加了革命。张宗昌被任命为上海光复军骑兵团团长，驻防闸北地区。孙中山发动二次革命时，张宗昌曾站在革命一方同北军作战，但受伤后，即叛变投靠了直系首领冯国璋。冯国璋很是器重张宗昌，让张自行招兵，先成立了一个师，后缩编为一个旅。冯国璋为了培植个人势力，在南京举办了江苏军官教育团，任命张宗昌为监理。后来，在袁世凯的密谋下，他派人暗杀了著名革命党人陈其美。张宗昌没有任何信仰，他的信条是有奶便是娘。袁世凯给了他５万元，他就把革命党人暗杀了。
  做教育团的监理，他不感兴趣，要求去带兵。冯国璋将他调为江苏第六混成旅旅长。后来，升为暂编陆军第一师师长，并兼第二路军总司令。１９１９年冯国璋死后，曹锟和吴佩孚看不上这个来路不正的张宗昌，张宗昌开始走下坡路。他被江西督军陈光远排挤，兵败江西。无法，他只身来到北京，想投靠曹锟、吴佩孚。但人家不把他当回事，连一个空头衔也不给他。这时，他想起了在曹锟的光园见到的张学良。张学良曾邀请他去奉天，他在走投无路时来到了奉天。
  出乎意料，张作霖对这个粗犷豪放的张宗昌，很是欢迎。但由于他没有什么战功，也只安排他做了一个宪兵营长，归宪兵司令陈兴亚统领。这是为了安排他的随行人员。张宗昌从一个师长降而为一个营长，不大满意，然而，也只好忍时待机。张作霖将他安排住在奉天大北关榆树胡同。他带来的亲信旧部２００人散住在周围。张作霖经常让部下陪他吃喝嫖赌，养以待用。张宗昌是个大赌徒，赌博时下注很大。一天，他把带来的１０万元钱全输光了。
  张作霖听说了这件事。于是，第二天，叫来昨天的赢家，到张作霖处打牌。大帅叫打牌，诸赢家受宠若惊。知道张作霖玩牌下注大，就带来很多钱。但打牌时，张作霖故意让张宗昌赢，让别人输。大家输到２０万，才停止牌局。张宗昌看在眼里，对此深为感动。张作霖知道大家输得冤枉，后来对他们说：“效坤乃是一条好汉，当代豪杰，是远道来做客的。你们将他所带的一吃而光，让他扫兴，置我的面子于何地？我不亮牌，就是要把你们的不义之财收回来。”这么一说，大家觉得有理。张作霖是个有心人，当人处境不利时，他常能给以援手。他深谙养兵千日、用兵一时的道理。这是张作霖的一大长处。
  眼下，张作霖就要动用张宗昌了。张作霖思忖，我的本兼各职已经被罢免，派出的人得是能听从我指挥的。而且，必须是同高士傧、卢永贵毫无瓜葛的人，以免临阵反叛。张作霖相中了张宗昌。他命令张宗昌到山海关外的天泰栈来。
  张宗昌见到张作霖，举手敬礼后，垂手伺立，恭敬地问道：“大帅叫我有什么吩咐？”
  张作霖微笑地说：“效坤，我现在已是败军之将不说，连我的差事也被徐世昌下令通通取消了，你知道吗？”
  张宗昌气愤地答道：“报告大帅，我不知道。别听他们那一套。北京政府那群狗娘养的，还不是东风硬随东风，西风硬随西风。吴佩孚叫他们卧倒，他们就不敢蹲着。大帅别灰心，咱们该怎么干，就怎么干。君子报仇三年不晚！看有一天大帅胜利，咱们怎么收拾他们。”
  张作霖面对眼前恭敬站立的高大山东汉子，生出无限感慨：“锦上添花世上有，雪中送炭人间无。人与人之间，还不是墙倒众人推啊！”
  张宗昌立即表态道：“报告大帅！我张宗昌斗大的字也识不上一麻包，可是，我还懂得有恩报恩，有仇报仇的道理。虽然目前大帅走了背运，可是我张宗昌绝对效忠大帅到底。你老人家说吧，叫我跳火坑上刀山，只要大帅有命令，我张宗昌眉毛皱一下，也不是咱娘养的。”
  张作霖听了张宗昌这番感人肺腑的表白，也深深地被打动了。他听出了张宗昌的心音。经过了人生的大跌宕，张作霖深有感触，他觉得自己没有看错人。他决定把这个关系全局的大事交给张宗昌去办。于是，他向张宗昌下达了任务，叫他到吉林去剿除叛匪。
  张宗昌高兴地接受了任务，就带着几名随员赶回奉天。张作霖又发给他二百多支别烈弹。这是一种打铅丸子的枪。经过短暂筹备，张宗昌率领他的一营宪兵，乘火车匆匆赶赴哈尔滨。其实，派张宗昌带这么少的兵去剿匪，纯粹是一招险棋，带有赌博的性质。
  张宗昌北上攻打高士傧的消息，传到高士傧处。高士傧决心据守吉林省五站一带，以逸待劳，准备打他个张宗昌措手不及。等到张宗昌率队开到五站与高士傧部对峙时，本来张宗昌处于劣势。但刚一交锋，出乎意料，形势突然发生逆转，张宗昌迅速获得了胜利。原来，卢永贵的红胡子队的中下级头目中，有许多过去都是张宗昌的患难同乡，不是掖县就是黄县人。他们当年和张宗昌在北满修筑中东路时一起当过工人，是在一个锅里搅过食吃的。听说对方是当年讲义气的张长腿带队，卢永贵的很多部下都投到张宗昌这边来了。这是卢永贵始料不及的。卢永贵只得败退到高士傧处。高士傧在张宗昌的猛攻下，独木难支，招架不住，节节败退。最后，６月３日，高士傧逃到中俄边界的珲春，他的部属乌营长倒戈，逮捕了高士傧和卢永贵。随后，他们两人成了张宗昌的俘虏。过了两天，张作霖下令，在珲春就地枪决了高士傧和卢永贵。
  此次大捷，挖掉了身后的一块毒疮，消除了后方的一个隐患。张宗昌深受张作霖赞许，对张宗昌高看一眼。张作霖任命张宗昌为吉林省边防军第三旅旅长，并兼绥宁镇守使及中东铁路护路副司令。绥宁指绥芬河与东宁。同时，他还可以便宜行事，收编了高士傧和卢永贵的败兵，以及地方红胡子。一时，他的兵额大大超过编制。旅下辖三个团，团长一个是跟随他多年的暗杀陈其美的程国瑞，一个是北洋陆军大学毕业的许琨，一个是褚玉璞。
  第三旅军饷，由奉天省拨发。但奉天币折合银元八角，而吉林币折合奉天币只有六角。这样两次打折，军队欠亏太大。张宗昌为了解决这个困难，就在他的防区内种植鸦片烟，以解燃眉之急。土军阀是什么坏事都敢干的。
  张宗昌时来运转，还白拣了一支外国武装。１９２２年冬季，帝俄军队纷纷逃入中国境内。仅到五站的白卫军就有一万多人，枪马甚多。张宗昌在海参崴呆过，会说几句俄语。白卫军把他引为知己，请他收容，愿把军队交给他。他欣然接受。共计得到步枪八千多支，机关枪五十多挺，大炮十七门。不费吹灰之力，唾手而得大量武器，真是天助也！白卫军的最高首领还派米诺夫为他的顾问，指挥这支白俄军的司令是捏洽叶夫。张宗昌将一部分有技术的士兵组成工兵队，后来在铁路线上行驶的铁甲车，就是这部分人设制组成的①。据说，中国军队有铁甲车炮兵，是从这时开始的。
  张宗昌有了枪炮，有了洋兵，有了顾问，实力大增，就极力整编训练，成为他以后发迹的重要资本。从此，张作霖对他刮目相看，委以重任。张宗昌逐步升为奉军的大将之一。
  张作霖对张宗昌的使用，充分地表现了张作霖的用人观。
  后方的问题解决了，张作霖考虑的是直奉之战失败的教训，他想的是整军经武，以备再战。
  整军经武
  ７月１６日，东三省保安司令部正式成立。这标志着东三省同中央完全脱离关系，正式独立。张作霖任总司令，孙烈臣、吴俊升任副总司令，杨宇霆任总参议。成立秘书、副官、军务、军需、军医、军法稽查等处，分管相关事宜。张作霖请书法家在他的纸扇上书写了“毋忘吴耻”四个大字，借以时时提醒自己，以报前仇。张作霖这类人，意志顽强，轻不言输。为了尽雪前耻，经总结教训，张作霖采取了一些重大的改革举措。
  首先，改组领导机构。张作霖设立了一个最高的整军经武的领导机构，名为东三省陆军整理处。该机构是１９２２年７月２４日成立。委任孙烈臣为统监，张作相、姜登选为副监，张学良为参谋长。１９２５年，东三省陆军整理处改为东三省陆军训练处，人员相应作了更动。由张作霖任统监，姜登选、韩麟春、李景林、张学良为副监。这次改动是为了加强张作霖父子的权力。陆军整理处下设两个处和若干科。两个处是，军学处，处长为陈瑛；工务处，处长为张宣。
  据曾任东北军高级将领的何柱国将军回忆：“第一个重要机构是陆军整理处。这是整军经武的最高执行机构，凡属部队整编以及人事的部署和升迁等都由这里决定。除了最高决策由统帅部直接掌握之外，一切日常有关整军经武的重大事情，都要通过这里。”①他又写道：“因此由张作霖自兼统监，下设副监多人，新旧两派都有，但实际负责的是副监姜登选、韩麟春和参谋长张学良。”这段回忆有点误差，但是可以看出新派实际掌握了改革的实权。姜登选、韩麟春和张学良都是新派人物，尤其是张学良更是新派的首脑。由于新派掌握了改革的实权，推进奉军的近代化就奠定了坚实的基础。
  其次，严肃整顿陆军。奉军存在新旧两派。何柱国将军写道：“我要谈谈奉军新旧两派的消长。旧派的主要人物就是人们熟知的张景惠、吴俊升、孙烈臣、张作相和汤玉麟等跟张作霖一起打天下的众好汉。新派人物是杨宇霆起的头。杨是东北法库人，日本士官八期毕业，为人精明干练，勇于负责，从１９１８年继张作相为统帅部的总参议，始终得到张作霖的特殊信任。就是由杨宇霆先后吸引了韩麟春、姜登选、郭松龄、戢翼翘、臧式毅、于国翰、熙洽、王树常、于珍、邢士廉等成了新派的骨干。后来张学良又以少帅的身份列入新派的首脑，并由张学良和郭松龄分任新军主力三、八旅旅长。从此新派逐步抬头，逐步壮大，终于成为以后整个东北军的主体。”这个看法是很有道理的。
  张作霖原来依靠的完全是旧派。是什么原因促使张作霖开始决心重用新派呢？这主要的是直奉一战的教训。
  何柱国将军分析：“然而新派之所以能压倒旧派，也并不是偶然的。其中至少有两件事值得一提。１９２２年的直奉战争，奉军旧派的军队在长辛店作战，新派的三、八旅在杨柳青以西作战，结果长辛店方面的旧派军队溃不成军，而杨柳青以西的三、八旅则虽败而未溃，这是一件。另一件是王升文团在山海关的浴血奋战。原来奉军在长辛店和杨柳青战败以后，直军以破竹之势直追到山海关，满以为一举可以捣毁奉张的老巢，不想到了山海关石门寨一线，突然遇到三、八旅中王升文团的猛烈抗击。王部战斗力之强，远远超出曹吴意料之外。结果王升文团长阵亡，全团官兵也损失甚重，但毕竟阻止了直军的攻势，稳住了整个奉军的阵脚，迫使曹吴不能不有所顾忌而接受了和议。”
  接着他又写道：“这两件事不但博得了张作霖的特殊赏识，并鼓舞了新派的信心，而且也是旧派相形见绌，不得不在军事上有所让步。因此以后的整军经武，事权大部掌握在新派手中，并且逐步深入到旧派军队，使旧派军队也起了变化。”这个分析是很中肯的。张作霖在实践中看到了新派的潜力，因此他决心重用新派。张作霖的头脑是随着时间的推移而发展变化的。
  整顿陆军的指导思想是依靠新派力量，裁汰为非作歹的胡匪及行伍出身的官佐。这已经成为张作霖的整军指导方针了。借着总结直奉战争各部的表现，严厉地惩处了违反军纪的军官。根据不同情况，分别加以惩处。
  在战争中，临阵退缩、贻误战机、焚劫掳掠者，一律枪决。有第六混成旅旅长鲍德山，第二十七师第一〇六团团长阎玉成，第十混成旅第一团团长许益三。枪毙了一个旅长和两个团长，震动很大