1939年9月， 中共山东第一区党委第三地委职工部建立。此后各县职工工会也相继建立。11月，鲁南职工抗日救国联合会一分会建立。12月，在单县柴楼召开苏鲁豫边区总工会成立大会， 选举产生苏鲁豫边区总工会负责人。翌年1月，易名为湖西专区职工抗日救国联合会。1942年10月，改为晋冀鲁豫边区第二十一专区职工抗日救国联合会。
1946年4月28日， 济宁市总工会召开筹备委员会选举大会，到会各业工人代表62人， 选出正副主任3人。随之，济宁玉堂酱园、济丰面粉公司、振业火柴分公司、永顺铁厂、马泰盛酱园、广育堂药店和搬运行业，都建立了工会组织。1949年3月3日，济宁市职工总会筹备委员会成立， 筹备召开全市工人代表大会。同年9月20日，济宁首届工人代表大会在济宁铁塔寺召开， 出席代表85人，列席代表7人，选出执行委员21人，候补执行委员7人，常委7人，主席1人，秘书长1人，下设劳保部、组织部、文教部、生产部、女工部、青工部。至此，全市已发展工会会员3947人，占职工总数的50%， 建立基层工会组织72个。10月下旬，济宁市工厂工会联合会、铁业工会筹备委员会、手工业联合会筹备委员会、店员工会联合筹备委员会先后成立。随之，尼山专区所辖滋阳县、曲阜县、邹县、滕县等工会组织亦先后建立起来。12月，湖西专区工会办事处建立。 1950年4月23日，尼山、台枣专区工会办事处合并，组建为山东省总工会滕县专区办事处。 1953年7月，撤销滕县专区、湖西专区工会办事处，建立山东省总工会济宁专区办事处。1950～1953年，全区11个县(市)中，已建立1个市、6个县总工会、 4个直属县教育工会、28个产业工会、533个基层工会，共有会员25463人，占职工总数的70%。1956年8月，根据山东省工会联合会的指示，撤销济宁专区工会办事处，各县(市)工会直属省工会联合会领导。1959年10月，恢复山东省总工会济宁专区办事处。
文化大革命期间，各级工会组织陷于瘫痪状态。
1976年7月， 济宁地区工会第一届代表大会暨济宁地区工交、财贸先进生产者代表大会召开，选举产生济宁地区总工会第一届委员会，委员58人，常委14人，正副主任6人。至此，全区工会会员103900人。1979年3月，山东省总工会决定撤销济宁地区总工会，恢复建立山东省总工会济宁地区办事处。1983年10月，撤销济宁地区、济宁县，济宁市组建为省辖地专级市，山东省总工会济宁地区办事处改为济宁市总工会。1984年7月25～29日，济宁市总工会第十一次代表大会(延续原济宁市工会代表大会届次) 召开，选举产生济宁市总工会第十一届委员会，委员52人，常委9人，正副主席3人。下设办公室、组织部、宣教部、生活女工部、生产保护部、民主管理部、财务部、职工技术办公室、 法律顾问处、工运史办公室、职工生活服务处11个部、室。199 0年，全市有工会会员396503人，占职工总数的89.06%。
