袁世凯从朝鲜回国之后，1894年甲午战争就爆发了，在接下来的一年当中，清廷高层为究竞作战到底还是议和发生了分歧。1895年，袁世凯向朝廷提交了一份的报告，报告以自己几年来在军中所见为基础，详实地记录了清军纪律涣散、装备落后、军官怠职等现象，论述清军与刚刚经过明治维新的日本相比实力悬殊，根据袁世凯的推断，如果不早日与日本议和，天津、京城都将有失守的可能。
这份报告着实令沉醉于天朝大国美梦中的慈禧和光绪震惊。为了尽早结束战事，1895年3月，朝廷派李鸿章等人前往日本进行谈判，日本倚仗美国的支持对李鸿章一行施压，迫使中国签订了不平等的《马关条约》。
《马关条约》签订之后，日本在朝鲜的利益得到承认，辽东半岛、台湾的割让以及巨额的赔款，使清朝多数知识分子瞬间觉醒，他们意识到中国已经到了非变不可的大时代，纷纷登上政治舞台，寻求救国良方。针对清军战斗力低下的现状，以袁世凯、徐世昌为代表的开明官僚开始呼吁朝廷整顿军队，兴练新军。
当时，朝廷当中不少大臣都早已感到军队的日益腐朽，清军军制处于想改而不知如何改的尴尬境地，甲午一战之后，清廷终于痛下决心，下令对军队进行改革。袁世凯出身行伍，对清军弊病了如指掌。他接连上书督办军务处程文里、军机大臣李鸿藻、总理大臣荣禄等人，呼吁效法西方军制，对清军进行彻底、深入的改革。他撰写《练兵要则十三条》、《新建路军营制饷章》、《募定洋员合同》等具体计划，得到了军务处的认可。这样一来，朝廷上下无不赞同由袁世凯负责兴练新军的职务。几天后，袁世凯得到光绪帝的召见。这年年底，他来到天津小站，迈开了他人生中最重要的一步。
袁世凯自幼酷爱兵法，随着与西方接触的增多，他开始留意西方的治军方法，在对西洋兵法及军制的了解程度上，袁世凯远在胡锡菜之上，如果让他来仿效西法练兵，自然事半功倍。到达天津之后，袁世凯接手了胡锡菜的定武军，并将军队迁到小站。袁世凯初到小站的时候，是他最为意气风发的阶段。这时候，袁世凯刚刚三十六岁，他在朝鲜平定战乱，小试了牛刀。中国在甲午战争中的失败，更坚定了他整顿军队、洋法练兵的信念。
袁世凯是近代中国提出对军队进行全面改革的第一人，尽管在后人对他的评价中，不少人认为他军事才华一般，但如果横向比较，在对外国军队、军制的研究上，袁世凯远远超过了同时代的其他人，从袁世凯的《训练操法详晰图说》、《新建陆军兵略录存》等著作就可以看出。在这些著作中，袁世凯不仅对德国的军制有详细的阐述，还对日本的军队建设颇有研究。小站练兵时期，袁世凯还曾翻译过不少外国兵法著作，在徐世昌等人的协助下，袁世凯完成了新建陆军的军队编制、军队管理、军衔制度、军饷制度等一系列的改革。
清朝末年，清军内部已经非常腐败，克扣军饷成了军队中见怪不怪的事，普通士兵拿到的军饷只够自己活命，因此每到大敌当前，士兵宁可临阵脱逃也不愿奋勇杀敌，这就直接导致军队几无战斗力，在这样的背景下，士兵质量也就可想而知。袁世凯上任后第一件事就是招募新军。为了招募战斗力更强的新兵，袁世凯将新建陆军的军饷大幅提高，仅普通士兵每月就能领到白银四两五钱，新军统带（相当于营长）每月可支银两达到四百两。每月发放军饷时，袁世凯都要亲自到场监督，防止军官从中克扣。
除了重金买马，袁世凯还启用了大批来自全国各地的优秀青年军官，并在军队中设立武备学堂，培养军事人才。根据当时英国人贝思福的记载，新建路军年轻力壮，身材适中，操法灵熟，步伐整齐，新的制式，新的装备，新的军装，整个新建路军在袁世凯的操练下焕然一新。这样一来，大批优秀的年轻人来到天津投奔袁世凯，甚至一些读书人也觉得从军是一个好的出路，纷纷加入新军。慢慢地，袁世凯身边集结了大量杰出青年，其中有名的有徐世昌、冯国璋、段祺瑞、王士珍、曹银、卢永祥、王占元、段芝贵、李纯、唐绍仪、张勋等人，这些人后来都成了民国时期数一数二的人物，北洋系的最早势力也正是在这一时期形成的。