1941年5月，中共中央华中局根据皖南事变以后的斗争形势，将华中抗日根据地划分为7个战略区，建立中共盐阜、淮海、淮北、路东、路西、苏中、苏南等7个区党委和舒（城）无（为）桐（城）庐（江）特委。皖东抗日根据地的路东、路西区党委和舒无桐庐特委统归皖东党政军委员会领导，书记郑位三。路东区党委以刘顺元、方毅为书记，管辖来安、嘉山、天长、盯眙、仪征、六合、高邮等7个县委；路西区党委黄岩为书记，管辖定远、滁县、全椒、凤阳、合肥、寿县、定东南、含（山）和（县）等8个县委；舒无桐庐特委书记何伟、李步新。皖南事变以后，在皖东的江北指挥部所属部队改编为新四军第二师，副军长张云逸兼师长、罗炳辉任副师长、郑位三任政治委员。辖第四、五、六旅（分别由四、五支队和江北游击纵队改编）及津浦路东联防司令部（独立旅）、津浦路西联防司令部。 　　

    1941年春，新四军第二师在津浦路西粉碎了日伪“扫荡”及顽固派军队的进攻，巩固了路西根据地以后，主力遂转向天（长）仪（征）扬（州）地区开展破袭战，经金牛山等战斗，歼日伪军800余人，粉碎了敌军对路东根据地的进犯。路东军民继1940年9月粉碎日伪军10000余人的大“扫荡”后，1941年5月又粉碎了日伪军5000余人的“扫荡”，巩固了路东根据地。 　　1942年，是淮南抗日根据地最困难的时期，由于日军频繁而残酷的“扫荡”、“蚕食”，李品仙部的进攻，加上严重的干旱，给淮南军民造成严重的困难。 　　

    为了战胜困难，淮南军民坚决击退日伪军进攻，保卫敌后抗日根据地。1942年1月至3月，新四军第二师击退日军2000余人对津浦路西地区的“扫荡”。10月，李品仙部第171师进犯藕塘；11月，日伪军10000余人大举“扫荡”淮海、淮北和淮南抗日根据地，其中，由明光、滁县、定远等据点出动的日伪军3000余人向定远地区“扫荡”，均被津浦路西军民粉碎。1943年6月，津浦路东我军在东南边区发起反“蚕食”、反伪化的斗争，攻克仪征县谢家集据点，收复仪征、江都县20多个乡，成立甘泉县，打通二师淮南抗日根据地和一师苏中抗日根据地的联系。8月，二师主力一部，击退进犯六合县解放区的日军，取得桂子山战斗胜利。 　　

    为了战胜困难，淮南抗日根据地厉行精兵简政，紧缩机关，充实基层。新四军第二师主力缩编，加强地方武装，津浦路东8县合并为4个办事处（县）。1943年3月，根据中共中央华中局指示，淮南抗日根据地实行一元化领导，撤销路东、路西区党委，组建淮南区党委，谭震林任书记，刘顺元任副书记，辖津浦路东、路西两地委。赵启民、陈光先后任路东地委书记，李世农任副书记；谭希林、黄岩先后任路西地委书记，谭光廷任副书记。成立淮南苏皖边区行政公署，辖津浦路东、路西两专员公署，汪道涵、郑抱真分别任专员。周元斌、李竹平分别任副专员。新四军第二师师长罗炳辉兼淮南军区司令员，谭震林为政治委员，辖路东、路西两军分区。 　　

    为了战胜严重困难，淮南军民掀起大生产运动，战胜自然灾害和敌人封锁，改善军民生活，为反攻作物质上准备。1943年1月，中共中央华中局和新四军军部从苏北转移到皖东抗日根据地盯眙县黄花塘，直接领导皖东斗争。 　　

     1943年，淮南抗日根据地进入新的发展时期。1944年，淮南新四军转入局部反攻，至1945年7月，淮南抗日根据地发展到2万余平方公里，人口达280万，新四军第二师兵力扩大到4．4万人，并在南京城郊建立上元县。