1892年3月24日胡刚复出生于江苏省桃源县（现泗阳县）。小名龙倌，原名文生，又名光复（1909年前曾用名）。
胡刚复在这个乐善不倦、启发民智的家庭中度过了童年，自幼养成了刚直严正、意志坚强的性格。他于5岁入上海南洋公学附小，因学业成绩优异而跳班，10岁便进入南洋公学（中学）。但由于年龄过小，稚气未干，初一时曾骑楼梯扶手速滑下楼，因冲撞校长而被罚降回小学。他以优异成绩从中学毕业后，曾参加无锡理化研究会并入上海震旦大学预科学习。 1909年，胡刚复被录取为首批庚款留美学生。同年入美国哈佛大学物理系。在大学期间，他爱好体育，为哈佛大学校足球队队员，练就了好的体魄。
1913年大学毕业，获奖学金入哈佛研究院，在W．杜安（Duane）教授指导下从事镭提纯工作，并在亨廷顿癌症医院（Huntington Cancer Hospital）从事癌症放射性临床治疗。
1914年获硕士学位后，在杜安教授指导下进行X射线光谱方面的研究，1918年获哲学博士学位，旋即回国。 胡刚复抵美期间对于学习数理化中的哪一科，认真进行了选择。他同样酷爱数理化三科。
出于科学救国、实业救国的抱负，他认为物理学不但是严正科学的典范，而且与工程生产实业关系最为密切，因此决心学习物理。
他在1913—1914年从事镭提纯及其临床放射治疗的工作，实践了他对科学最终应为人类幸福服务的信念。
1914年胡刚复转入当时的物理前沿X射线领域进行实验研究。他和杜安教授合作，研究了X射线K线系与化学元素原子序数的关系。
其重要学术成果有：一、用布喇格方法精确测定了原子序数自25至34的元素K线的临界吸收波长。他以电子速度和原子序数作图，提高了莫塞莱定律的精度，验明了X射线临界吸收频率、吸收体内临界电离频率、X射线管中由激励电子能量确定的临界X射线频率和最高特征发射频率都相等；二、首次在X射线频率范围内测定了光电子在不同方向的速度分布和X射线散射的空间分布及其光谱特性，明确了选择性光电效应和选择散射的存在，确定了X射线光电子的最大发射速度。这些成果对于确定X射线谱项结构、揭示原子发射X射线的机制、理解原子内层电子构造都有重要意义。
1918年胡刚复博士论文工作结束后，杜安曾一再希望他能留下继续合作研究。为报效祖国，他毅然离开哈佛大学。 1918年秋胡刚复回国。他明白中国科学教育尚处于襁褓之中，没有条件继续他的实验研究，以充分发挥自己的才华。可是，要救国就必须让科学和科学教育在祖国的大地上生根开花，因而他一心扑在办学、教学、培养学子上。
始自1918年，他在南京师范学校创建了我国最早的物理实验室。作为实验科学的物理学，必须有实验方能培养出真正的物理学家，这是他坚定不移的信念。据老校友回忆，国立东南大学和他兼职的上海大同大学在1920年已有供学生用的很好的物理实验室。
1923年12月12日晚，国立东南大学理化楼失火，实验仪器付之一炬。胡刚复于当天乘火车赶赴上海向大同大学借理化仪器，并立即乘车携回南京，使学生的实验没有耽误。他刚到南京高等师范学校任教授时，全系只有他一个教授，讲课带实验全由他一人担任。他还在上海兼课，因此每周三天在南京、三天在上海授课。他家一直居住上海，在南京期间便独自住在中国科学社图书馆内（他是中国科学社理事和图书馆馆长）。在他的学生中，有一大批为我国科学和科学教育做出重大贡献的著名科学家，如吴有训、恽子强、严济慈、吴学周、赵忠尧、柳大纲、施汝为、顾静徽、钱临照等。 早在1916年，胡刚复在美国就参加创办了中国科学社，并在中国科学社办的《科学》杂志上发表了《大地电象》、《电位定名解》等数篇论文，这是他提倡和宣传科学最早的努力。
1918年回国后，他是中国科学社名词审查委员会的主要成员，有关电位、熵等一大批名词的定名以及市制度量衡单位（如时间秒，1市尺=1/3米，1市斤=1/2公斤）的确定，他均做出了重要贡献。30年代初，他还与胡?风合编了初中物理教材。 1926年他受聘为厦门大学理学院院长，聘姜立夫（数学）、张子高（化学）、秉志（生物）等主持理学院各系工作，使理学院步入正规。同年，鲁迅先生亦受聘于文学院，这些知名学者，使厦门大学立时名声大振。
1928年他协助丁燮林在上海创办了我国第一个物理研究所——中央研究院物理研究所，并任该所专任研究员。 1936年参加中国科学社年会之后，胡刚复得了伤寒重症，不省人事整整一个月，住在上海红十字会医院特护病房中。当时他的挚友竺可桢（哈佛大学研究院同学、科学社同人、国立东南大学同事）被任命为浙江大学校长，多次去医院敦请刚刚神志清醒过来的胡刚复同他一起办学，如胡刚复不去则竺可桢决不接受任命。在国民党保证不以党务干预办学后，胡刚复才决定接受聘请，任浙江大学文理学院院长职务，以全力共同把浙江大学办好。
1936年胡刚复任浙江大学理学院院长后，广招贤才，大大加强了理学院的教师阵容。次年抗日战争爆发，浙江大学辗转内迁。即便在抗日战争极端困难的局面之下，浙江大学仍迅速发展而进入其兴盛时期，其中浙江大学理学院发展尤快。由于他的努力，事必躬亲而严格认真，把理学院办得很有特色。当时各系不但教学工作出色，科研工作亦蓬勃开展，各系每周均有科学报告会。为了提倡认真读书和科学家献身科学的求是精神，他还亲自向全校师生作报告，讲述伽利略、牛顿、法拉第、麦克斯韦等科学家的科学思想和贡献、探索自然规律的求是精神和伟大的人格，并谆谆教诲学生学习他们不畏强暴、坚持科学真理的伟大精神。他认为一个大学有义务向周围社区传播科学文化，遂向当地群众播下科学种子和普及科学知识，鼓励各系推广科研成果，要求各系必须于校庆时向民众开放实验室，安排各种科学实验，以丰富直观的自然现象和认真的讲解使群众了解科学和运用科学。至今遵义、湄潭人民还津津乐道当年浙江大学在科学教育方面所播下的种子，如今都已生根、开花、结果。在浙江大学期间，他特意为理科各系学生开设了一门“高等物理学”以加深本系和外系学生对物理学的认识，培养学生对边缘科学的兴趣。
胡刚复成功办学的做法一贯是首先要延聘高水平和爱护学生的优秀教授。在浙江大学迁到贵州遵义、湄潭的6年中，原有教授都安心教学科研。他还增聘了数学系蒋硕民、徐瑞云，物理系卢鹤绂、丁绪宝，化学系王葆仁、张其楷，生物系罗宗洛、仲崇信、江希明等教师，阵容大为增强。其次，他认为要有优良的图书、仪器设备，方能请到好教授。当时王葆仁辞去同济大学理学院院长来浙江大学任化学系主任，就是因为浙江大学化学系的研究条件好，理学院各系图书、设备也都很好。胡刚复的科学教育思想是在通才教育和因材施教的基础上特别强调基础理论和实验训练，并要求开好基础课和反映科学前沿的课程。他对工科师生一贯强调要有坚强的理科根底。一方面加强实验研究设备，另一方面则为自己动手制作教学研究用的装置，设有良好的金工、吹玻璃、磨玻璃和无线电电子工场，请高级技师和青年助教参与工场实习和实验技术教育。他要求学生选课时到他那里签字，用这种方式指导学生按个人志趣、特长和优缺点作出最佳选择，以提高学习效果或作跨学科领域的学习。这种对理学院每个学生所进行的查成绩选课的面谈，往往每人半个小时以上，甚至长达半天。在他的谆谆指导下，不但物理系培养出了如程开甲、胡济民、李政道、李文铸等一大批物理学家，还培养出了一些从事生物物理研究的高级人才，如梅镇安便是第一位。桐油盏下造就了多位学部委员。
胡刚复在抗日战争迁校期间，总是担任迁校委员会的领导，每次迁校总是由他先寻找校址、借房、安排校舍、安排图书仪器运输、安排交通工具疏散人员。以他的体力和毅力，别人看来办不到的事竟为他所办到。浙江大学数次迁校不曾耽误开课，图书仪器无一丢损，便是两例。他个人公而忘私，对邪恶毫无所惧的正气，克服了土匪绑架、国民党党棍陷害等种种艰难险阻，使学校数次迁校和兴建湄潭物理楼取得成功。
当学校迁到江西泰和期间，在赣江发水之前，他领导民工修筑了一条约10公里长的大堤，每天人们都看到他在施工现场巡视。第二年赣江发水之时，浙江大学已迁往广西宜山，大堤保护了泰和广大的农田，当地人民称该堤为浙大堤或钢堤。当学校迁到遵义、湄潭、永兴之时，他曾与其子一起以其子的身高作为标尺勘察环湄潭三面的湄江之水位落差，想在湄江上造一小型水电站发电并控制洪水水患，后抗战胜利而作罢。 1946年胡刚复被委派率学生前往英国学习雷达技术，为我国培养第一批雷达高技术人才。
在英国期间，他每周均到剑桥听课，听微波原理和听他以前没有正规学过的量子力学、电动力学和统计力学等课程。他的伤寒病后遗症（耳朵失聪）在战后冬季无取暖条件的英国更为加重，以致每次听课坐在第一排方能勉强听见。
1948年他借道美国，考察了美国的战后科学研究，特别是核物理、高能物理的进展。1948年11月回到杭州。不久，他便和竺可桢一起到达上海，坚决抵制当局要他们撤到台湾的安排，而留在祖国大陆。 1950年上海大同大学解体，他辞去了大同大学校长和浙江大学的教职，应茅以升之聘去唐山交通大学(现西南交通大学）和北洋大学任教。
1952年院系调整，他被聘为南开大学物理系教授。他在北洋大学、南开大学期间，教授过光学、近代物理、X－射线金属学等多门课程。为了开好不甚熟悉的金属学，有一段时期他每周乘火车从天津来到北京，听国内金属物理学家所授金属学课程。
1963年他到东北考察，在哈尔滨军事工程学院作了以“科学实验”为名的报告，这是他一生所作的最后一次报告。 1966年他患严重的肾病，经手术摘除肾结石后肾炎复发，于1966年2月19日逝世于天津市总医院。享年74岁。在患病期间，他写了“一身傲骨”四个大字的一张纸保存在书桌抽屉里，直到他去世之后才被发现。这四个字是一位有骨气的爱国知识分子、中国科学教育先驱无愧的自我写照。
