1937年12月25日在汉口建立军部，1938年1月6日移驻南昌。同年3月和4月，根据中共中央关于向敌人后方发展的指示和国民政府军事委员会关于集中整训的命令，军部和第1、第2、第3支队先后到达皖南歙县岩寺地区，第4支队在皖西霍山地区集中后向皖中开进，随后即在长江南北作战略展开。第1、第2支队相继进入苏南，开辟了以茅山为中心的抗日游击根据地，并将丹阳县的抗日武装改编为新四军挺进纵队。第3支队留在皖南担任长江防务。第4支队在皖中、皖东以游击战频繁打击日军。1939年2月，中共中央军委副主席周恩来到皖南视察，与新四军领导人商定了“向南巩固，向东作战，向北发展”的战略方针。根据这一方针，5月成立江北指挥部，统一领导第4支队和7月新编的第5支队，江北游击纵队。第4支队开辟了以安徽省定远县藕塘为中心的津浦路西抗日根据地。第5支队开辟了以安徽省来安县半塔为中心的津浦路东抗日根据地。江北游击纵队在安徽省长江北岸开展游击战争，保持和皖南的联系。第1支队派出第6团向苏南东部发展，与当地的抗日武装合编为江南人民抗日义勇军（简称江抗），直抵上海郊区。1939年9月，江抗西撤到长江中的扬中县与挺进纵队合编，并向苏北发展。10月，第2支队第4团一部北渡长江，在扬州以西改编为苏皖支队，打通了与第5支队的联系。11月，第1、第2支队领导机关合并组成江南指挥部，统一领导在苏南和向苏中、苏北发展的部队。这一时期，新四军还增加了两支部队。1938年9月30日，在河南省确山县竹沟镇组建的新四军游击支队东征，开辟了豫皖苏边区抗日根据地，1940年2月正式改称为新四军第6支队，辖3个团和4个总队。1939年1月，在竹沟组成的新四军豫鄂独立游击大队向武汉外围挺进，先后与豫南、鄂中、鄂东的抗日武装合编为新四军豫鄂独立游击支队、新四军豫鄂挺进纵队，开辟了豫鄂边区的抗日根据地，辖5个团队和3个游击总队。
