1851年9月，先锋大将罗大纲率2000精锐杀进永安（梧州蒙山），夺取太平天国兴起以来第一座城市。得知太平军占据永安，梧州地区拜上帝教会众纷纷前来投靠，其中就包括后来名扬天下的陈玉成、李秀成，他俩都是藤县人，是老乡关系。参加太平军时，陈玉成只有14岁，于是被编入“童子军”序列。陈玉成年纪虽小，可作战却相当勇猛，敢于冲杀在第一线，冒着枪林弹雨之危险杀入重围。
因此，陈玉成成长速度很快，1853年3月太平军杀进南京，陈玉成被封为“左四军正典圣粮”，主管军粮；1854年6月，陈玉成率500勇士攀上武昌城，一举攻克城池，受封“殿右三十检点”统陆军后十三军和水营前四军，算是独当一面之大将。1856年初，陈玉成配合秦日纲摧毁“江北大营”，而后挥师南下摧毁“江南大营”，此时他已经官至丞相（与秦汉时期丞相不一样）。
1856年9月，“天京事变”爆发，杨秀清、韦昌辉、秦日纲等死于内斗，石达开则率部外出单干，太平天国早期骨干损失殆尽。在此背景下，陈玉成、李秀成等“少壮派”被洪秀全授予重任，试图中兴太平天国。1857年夏，陈玉成联合李秀成，击败桐城之敌，是为石达开率部出走后，太平第一次大胜利。
1858年冬，陈玉成先是第二次摧毁“江北大营”，后则直接带兵救援庐州，在三河之战中击毙湘军近6000人，湘军悍将李续宾阵亡。1859年初，陈玉成再次击败清军，活捉安徽巡抚李孟群，而后将其处死。1860年初，陈玉成从皖北南下配合李秀成实行“围魏救赵”计划，再次摧毁“江南大营”，钦差大臣和春自缢而死，江南提督张国梁落水而亡，天京之围再次解除。
从14岁参加太平军到24岁摧毁“江南大营”，陈玉成算是顺风顺水，发展得很不错，立下的战功更是不少。
陈玉成一生战功赫赫，在“天京事变”后撑起太平天国江山，算是顶梁柱级别之人物。但是，英雄总有落难时，何况是在洪秀全手下混的英雄。1861年9月，由于各路将领各怀小九九，安庆陷落，陈玉成退守皖北庐州孤城，再次陷入清军包围之不利局面。有意思的是，陈玉成受困庐州孤城时，除陈坤书、洪春元等象征性的救援（渡江小遇挫折便撤兵）外，便再也人愿意去救援他，老乡李秀成坐拥几十万大军，专心经略苏南，压根就不管陈玉成死活。其中之原因，究竟何在？
曾在英王帐下服务的书生赵雨生（又称刀口余生）在其《被掳纪略》中写道：“英王得意时想怎样就怎样，失意时走一步错一部”，庐州议事会上，陈玉成力排众议，反驳众人：“本总裁自用兵以来，战必胜，攻必取。虽虚心听受善言，此次尔等所言，大拂吾意。
其少年得志，为人心高气傲之性格可见一斑。事实的确如此，陈玉成虽然打仗勇猛，在政治上却相当不成熟，得罪同僚太多。