南北朝时期，一些隐士在来少林寺前大都有很高的武功，皈依佛门后，不仅把自己的武功传授给门徒或知己，而且还得机学到了寺内和尚的武艺。如此互相交流，互相学习，世代延续，使众僧大都学会了武功。
北魏时代的孙溪，出家前跟祖父孙才学武4年，擅长拳术和气功。《高僧传》和《朝野全载》记载他：能跃首至梁，引重千钧，拳捷骁勇，动骇物听……
后来，北周静帝禅让于大丞相杨坚，杨坚称隋文帝，国号隋。由于杨坚是在尼姑庙里出生并由一个尼姑抚养成人的，对佛教更是大力扶植，他把陟岵寺恢复旧名，仍称少林寺，并赐柏谷屯田100顷，以供寺僧食用资费，于是，少林寺又渐渐兴盛起来。
但是，从少林寺初建至隋朝末年的100多年间，少林功夫的交流仅仅局限在寺院内部，它们不过是僧人参禅期间的健身方式，从未引起过世人的注意。
少林功夫术的要旨是禅武合一。少林寺是佛教禅宗的祖庭，禅宗以明心见性、顿悟成佛为要旨。在佛门眼中，参禅是正道，拳勇一类只是末技，僧众们不过是借练功习武达到收心敛性、屏虑入定的目的。同时也可收到健身自卫、护寺护法的效果。
由于局逐渐变得动荡，少林寺方丈为了保护庙宇的安全，已经从寺僧中选出身强力壮、勇敢灵巧或善于搏击者组织成一支专门队伍。最初，他们的任务是护寺，被称为“武僧”，使少林寺具有了一定规模的武装力量。
随着社会的进步和形势的需要，要求少林武功向精湛的技击方面发展，开始实行了有组织的、严格的僧兵训练。每天很早的时候，师僧们同起而习之，冬练三九，夏练三伏，四季不断，苦练武艺。
隋代马善通，江西泰和人，自幼习武，功夫超群。因好打不平伤人，为躲避追捕，逃至少林寺，拜志刚为师，赐法名“子升”，成为武僧中的代表人物。
隋朝末年，天下大乱，各地武装势力兴起，当时的少林寺，常住财产丰富，便成为攻击对象。寺内有僧徒数百，也有许多练武的僧人，在这种情况下僧人们更下决心勤苦习武，以更好地保寺护教。
而赫赫有名的少林棍的起源，据传与此时在少林寺烧火做饭的火头僧有关。由于僧人众多，在少林寺烧火做饭并不是件轻松的工作。少林寺有一位火头僧在日日烧火中，悟出了一手烧火棍的好功夫。
隋炀帝大业年间，少林寺得到消息，不久会有10000多山贼入侵少林寺，在众僧都惊慌失措的情况下，这位火头僧挺身而出，在短时间内训练了100多名年轻僧人学会少林棍，保护了少林寺。