霍去病十九岁时率兵出击匈奴，路过河东平阳，太守把霍去病迎入馆舍请霍仲孺与霍去病相见。父子相认霍去病很高兴，为霍仲孺买了大量的田宅土地奴婢来奉养他。等到回师路过平阳霍去病又拜见了霍仲孺，并将十几岁的异母弟霍光带到长安举荐为皇帝身边的郎官。
征和二年卫太子刘据被江充诬以“巫蛊之祸”，刘据起兵诛杀江充后兵败自杀。皇后卫子夫自杀，卫氏一族被牵连诛灭，数万人因此而死。霍光与卫氏一族没有直接瓜葛，加上哥哥霍去病的关系和一直为人谨慎才免于此祸。
卫太子自杀后不久汉武帝知道了真相，汉武帝大为后悔。加上其他的几个儿子十分不成器，汉武帝就想立幼子刘弗陵为太子。汉武帝遍观群臣觉得唯有霍光可担大任，于是让小黄门赐了霍光一幅周公负成王朝诸侯的画给霍光。霍光见到画就明白了武帝的意思，武帝又怕子弱母壮吕后专权的事情发生，就赐死了刘弗陵的生母钩弋夫人。
1.霍光做的最牛的事——废立皇帝。
伊尹、霍光以臣子的身份废立天子，这在皇权至上的年代是非常罕见的。而且这两个人还都留下的不是骂名，后人仍以他们为贤臣而不视为乱臣贼子。
汉昭帝继位后，霍光通过一系列的动作打击政治对手。逐渐将上官桀、桑弘羊等人消灭独揽大权，霍光又立外孙女也是上官桀的孙女为上官氏为昭帝皇后。
汉昭帝在位十三年，二十一岁驾崩死后无嗣。霍光不立昭帝的四哥广陵王刘胥，拥立了武帝的孙子昌邑王刘贺。刘贺继位27天淫乱无道，霍光和大司农商议废掉刘贺。田延年说：“伊尹相殷，废太甲以安宗庙，后世称其忠。将军若能行此，亦汉之伊尹也。”
霍光于是召集三公九卿博士大夫等官员合议于未央宫，霍光开门见山说刘贺昏乱无道要废掉刘贺另立新君。群臣骇然，无人发声。田延年按剑而起以大义威逼群臣，霍光又发声拍板。史称：于是议者皆叩头，曰：“万姓之命在于将军，唯大将军令。”
于是霍光以上官皇太后的名义废刘贺为昌邑王，仍归原来封地。刘贺在位仅仅27天就被废，刘贺是霍光力排众议拥立又是霍光一力废除。可见霍光权势之盛，历史罕有。
2.再立宣帝，威压天子。
霍光废掉刘贺，在排除了政治对手燕王广陵王这些系统之后，选择了卫太子刘据的后人刘病已。卫太子刘据起兵全家族灭，唯有太子之孙刘病已尚在襁褓之中在狱中得以幸存。此时刘病已已经十七岁，霍光将他迎入宫中继位，刘病已改名刘询就是西汉的孝宣皇帝。
3.包庇妻女谋害皇后。
这一下是得罪了霍氏家族，霍光以许皇后父亲许广汉为刑余之人阻止宣帝封爵，直到一年多以后许广汉才被封为昌成君。霍光的夫人霍显想让自己的小女儿当皇后，一直苦于没有机会。第二年许皇后又怀孕了，女医淳于衍和霍显有旧。正好此时淳于衍正入宫服侍许皇后，淳于衍的丈夫是掖庭护卫，想要求取安池监的职位。于是请淳于衍去向霍显求官，霍显乘机要淳于衍毒死许皇后。
淳于衍既惧怕霍光的权势又贪图富贵，于是在许皇后的药里加了附子。许皇后分娩后服药不久毒发身亡，为避嫌疑霍显也没有立即重谢淳于衍。事后有人向宣帝告发侍奉皇后的御医有重大嫌疑，宣帝下令彻查把相关人等通通下狱。霍显怕淳于衍供出自己急忙把事情告诉霍光，请霍光处理。霍光惊愕不已，默然不语。其后上奏保下了淳于衍，没有让人审问她。
许皇后死后宣帝十分伤心，追封许皇后为“恭哀皇后”葬在杜陵南园，宣帝又立许皇后的儿子为太子就是后来的汉元帝。霍成君也如愿以偿成为了皇后，霍成君被立为皇后三年霍光去世了。
霍光自汉昭帝继位掌握朝政近二十年，成为一代权臣。霍光死后极尽哀荣：光薨，上及皇太后亲临光丧。太中大夫任宣与侍御史五人持节护丧事。中二千石治莫府冢上。赐金钱、缯絮、绣被百领，衣五十箧，璧珠玑玉衣，梓宫、便房、黄肠题凑各一具，枞木外臧椁十五具。东园温明，皆如乘舆制度。载光尸柩以 辌车，黄屋在纛，发材官轻车北军五校士军陈至茂陵，以送其葬。谥曰宣成侯。发三河卒穿复士，起冢祠堂。置园邑三百家，长丞奉守如旧法。
霍光死后霍氏家族不知收敛，仍旧骄纵不法企图继续控制朝政。霍光死后一年宣帝立许皇后的儿子为太子，霍显十分生气说：“此乃民间时子，安得立？即后有子，反为王邪！”霍显故技重施让霍皇后毒死太子，好让霍成君的儿子上位，可惜太子的人防备太严没有成功。不久霍显毒杀许皇后的事情泄露，霍氏家族感觉大事不妙。霍显联合霍氏家族昆弟子婿谋反，想要推翻宣帝。最后霍氏家族彻底覆灭，霍成君被废。