霍元甲死后，精武门一落千丈，究其原因主要有三个方面，主要是霍元甲是创始人之一，霍元甲教育理念对弟子推动作用很大，霍元甲为精武门拉来援助。
霍元甲死后，曾经风靡一时的精武门开始变得名气渐失，霍元甲在那个时代可谓是赫赫有名，甚至放在当代也是小有名气，巨星周杰伦还以他的名字作了一首歌，可见他的名气和地位。
精武门年，霍元甲被称为精武四杰的陈公哲、陈铁生、卢炜昌、姚蟾伯等人，在上海创办体育会。后来是因为李小龙主演的《精武门》电影而备受人们知道。精武门主要是靠霍元甲的名气经营下去，霍元甲死后，精武门自然没有了支撑。
精武门开始创办的目的是为当时孙中山先生民族反抗战争的团体即同盟会培养人才，主要培养对象是青壮年，但教室的环境并不美好，只有几张桌子和破凳子，破败不堪，在霍元甲的激励下，徒弟们克服了这样环境的阻力，因此精武门才得以延续。但在霍元甲先生逝世后，精武门一下子失去了核心力量，缺乏了强有力的支撑，这个团体松散不堪，青壮年不再有坚定的信念。尽管其他三位创始人做出了努力，但是还是无济于事，精武门逐渐衰落。
霍元甲任教期间，其形象一直是抗日战士和精武门的教练，其创办目的也为精武门拉来了“赞助”。赞助既包括外国的援助也包括国内的援助，尤其是孙中山十分器重他，在经济上大力援助精武门，甚至在其逝世后亲自为其提字牌匾。
精武门主要是靠霍元甲的名气与教导才能继续下去，没有了霍元甲精武门也就没有了支撑。
最开是没有精武门，是“精武会”，而“精武会”是由同盟会会员陈其美开始建立的，蒋介石的结拜兄弟，上海的“暗杀大王”。1909年前后，同盟会的陈其美开始为了培养革命的新鲜力量，所以就是和同为同盟会的农劲荪一起创立了精武门，而被支持的人就是“迷踪拳传人”霍元甲，霍元甲带着他的徒弟刘振生来到上海讨生活，所以也就有了现在机会建立精武门。
劲荪担任了精武门的会长，而霍元甲作为总师父，教授徒弟和门生们武术，从此也就开始有了精武门。刚开始的时候“精武会”最开始是比较破败的，简陋的，就是铁路边上的一排简易的民房，就连里面的家具什么的也是跟人借的。最开始之所以建立精武会，就是为了收罗身体好的年轻男人加以培养，建立自己的势力，“精武会”刚刚建立的三个月霍元甲就死了，所以没有了支撑者，也就名存实亡。
关于霍元甲的真正的死亡原因，有很多种说法，霍元甲本身就是有旧疾的，但是最终因日本的药物而死亡，后来对霍元甲的骨骼进行了测试，以确认霍元甲被毒死了，霍元甲对精武具有很大的影响，里面是一个已经成为免费公寓的宿舍学生，实际上，没有人支持它也就没有了意义。
霍元甲已经被他们塑造出了一个民族英雄的形象，英雄没有了，精武门也就一落千丈了。