抗日战争时期，中国共产党领导的、在苏北盐阜和淮海地区创建抗日根据地、坚持游击战争的新四军主力部队。
    1941年1月皖南事变后，根据中共中央军委的命令，活动于盐阜、淮海和皖东北的八路军第5纵队改编为新四军第3师。所辖第1、第2、第3支队依次改称第7、第8、第9旅，黄克诚任师长兼政治委员，彭雄任参谋长（后洪学智），吴法宪任政治部主任，全师共2万余人。第3师领导机关成立之初兼苏皖军区。整编后，师部率第7、第8旅在淮海、盐阜地区巩固抗日根据地；第9旅从淮海区西返皖东北，执行恢复抗日根据地的任务。3月，成立淮海军区。7～8月，第3师与第1师协同，粉碎了日伪军1.7万余人以盐城为中心的大“扫荡”。9月，第9旅归第4师建制，第4师第10旅归第3师建制，并兼淮海军区；第8旅兼新成立的盐阜军区。张爱萍任第3师副师长（后刘震、洪学智）。10月，第3师参加陈道口战役，挫败了国民党顽军东西对进、分割苏北抗日根据地的企图。入冬后，剿灭土匪和刀会的骚扰暴乱，稳定了抗日根据地的社会秩序。
    1942年，第3师开展整训和整风运动。11月，实行精兵简政、主力军地方化和一元化领导。成立苏北军区，原盐阜、淮海军区改称军分区，第3师师部兼苏北军区机关，黄克诚兼任军区司令员和政治委员。先后将4个主力团和地方武装合编，保存和发展了主力部队和地方武装。同月，日伪军5000余人“扫荡”涟水县西北六塘河两岸地区，淮海军分区部队进行了反“扫荡”作战。
    1943年2月，日伪军2万余人对盐阜地区实行梳篦式“扫荡”。第8旅在第7、第10旅和人民群众配合下，先后进行了陈集、八滩等战斗，攻克日伪军据点30余处，至4月中旬，取得反“扫荡”的胜利。在此期间，第7旅担任华中战略机动任务。3月17日，师参谋长彭雄，第8旅旅长田守尧等赴延安学习，乘木船途经连云港海面时，遭日军巡逻艇袭击，在激战中牺牲。5月，淮海军分区部队发动夏季攻势，历时3个月，攻克据点40余处。9月，第8、第7旅和淮海军分区部队分别征讨和清剿了位于盐阜、淮海地区的伪军和土顽部队。10月，第3师及地方武装开展以反“治安肃正”为中心的作战，历时半年，挫败了日伪军2期“治安肃正”计划，基本收复了1942年冬季以来被日伪军占领的地区。
    1944年春，第3师发动攻势作战，进一步扩大根据地。4月，发起高沟杨口战斗，歼灭日伪军2100余人，收复六塘河两岸地区，使淮海、盐阜地区连成一片，并乘势攻克陈家港。6月，相继攻克大兴镇、通洋港、合德镇等重要据点。9月，攻克运河线上重要据点林宫渡，全歼日军1个连，粉碎了日伪军隔断苏北、淮北抗日根据地联系的企图。与此同时，第7旅奉命进至淮北津浦铁路（天津—浦口）以西地区，配合第4师西进作战。12月，第3师以积极的作战行动，打击调防苏北的伪军第2方面军，并多次挫败了日伪军的“扫荡”。
    1945年卜3月，第3师发动春季攻势，攻克沭阳县叶圩子等据点20余处。4月，收复阜宁县城。以淮海军分区第2、第3支队组建的独立旅赴皖中，配属第7师坚持皖江抗日根据地。
    8月大反攻后，第3师免兼苏北军区。黄克诚率师主力西进淮南，执行津浦铁路沿线作战任务。9月回师苏北，发起两淮战役，攻克淮安、淮阴等城镇。独立旅在皖中攻克无为县城后，北返淮海地区归建。月底，第3师奉命进军东北。
    新四军第3师在抗日战争中，歼灭日伪军6万余人。到大反攻前，主力部队发展到2.8万余人，组建地方武装2.2万余人。