1884年，出生于安徽省歙县昌溪乡沧山源村。17岁中秀才、18岁中举人，23岁参加举贡会考，获殿试一等第一名，被点为大理院主事。受业于章太炎门下，研究文字、音韵、训诂之学及经学。与黄侃、钱玄同并称章门三大弟子；与黄侃有“北吴南黄”两大经学大师之称。
1936年春，加入中国共产党。
民主革命时期，1912年任司法部佥事。精研音韵训诂及古代名物制度。
1915年，拜章太炎为师，在太炎先生被袁世凯软禁时，笔录太炎先生绪论，成《菿汉微言》，名动天下，后成为著名经学家。
大革命时期，历任北京师范大学中文系主任，中国大学国学系主任，兼北京大学、东北大学和民国大学教授，创办《文史》、《盍旦》、《时代文化》等刊物。在文字、音韵、训诂方面重要的代表作为《经籍旧音辨证》（1924年）。
土地革命战争时期，1935年创办《时代文化》等进步刊物，借古讽今，针砭时弊，激励人民的爱国热情和抗日斗志。积极参加“一二·九”运动，撰写文章，发表演说，步行到西山露营，组织教育界抗日救国会，营救被捕学生。北平沦陷以后，被列入黑名单而避居天津英租界，继续从事抗日救亡工作。期间著有《经典释文序录疏证》、《说文略说笺识》（未刊）等。在经学研究方面，他最突出的成就是对古代名物制度的探索。
抗日战争时期，1937年北平沦陷后10日，在中共地下党的安排下，化名汪少白，化装转移到天津，秘密从事抗日救亡运动，与家人绝音信2年余。1938年初拒绝敌人拉拢收买，不出任北京师范大学校职。晚年以历史唯物主义观点，研究经学和古代历史是我国第一位用马克思主义观点研究经学的学者，一生著述宏富。1939年8月天津水灾，染患伤寒而不自知，仅以一般感冒治之。后来病情严重，天津无法医治，只好秘密潜回北平。不敢直接回家，悄悄住在一个亲戚家中。9月11日身体不支，经友人帮助入协和医院治疗。由于在天津延误时日过久，又并发支气管炎。
1939年9月21日因终以肠穿孔抢救无效在北平逝世，终年56岁。
