中国人民解放军第二十一军的前身是土地革命战争时期转战皖西北的工农红军第二十八军。抗战爆发后，在皖西北坚持武装斗争的红二十八军，被改编为新四军第四支队，１９３８年３月，第四支队挺进至舒城、庐江、无为、桐城地区展开抗日武装斗争。１９３９年５月，新四军江北指挥部成立，第四支队归其指挥，主力开创了以定远东南藕塘为中心的津浦路西抗日根据地，另以第八团为基础组建新四军第五支队。１９４１年１月，新四军江北指挥部改编为新四军第二师，第四支队随即改编为第二师第四旅，第五支队改编为第二师第五旅。抗战胜利后第四、第五旅北上山东，１９４５年１０月，这两个旅和第四师第九旅，合编为新四军第二纵队。纵队成立后，归津浦前线指挥部领导，开赴津浦前线作战，参加界河、临城、枣庄等战斗，歼敌２万余人。１９４６年１月，改称为山东野战军第二纵队。

    二十一军另一支部队的前身是抗战时期新四军第六支队，后发展为新四军第四师第十一旅、第十二旅，１９４５年１１月，在这两个旅的基础上组建华中野战军第九纵队。

    １９４６年７月起，山野二纵和华中九纵就先后携手参加朝阳集、泗县战役、淮阴涟水保卫战、宿北战役、鲁南战役。１９４７年２月，山东野战军和华中野战军合编为华东野战军，山野二纵和华中九纵合编为华东野战军第二纵队。华野二纵成立之后首战白塔埠，一举歼灭国民党军第四十二集团军２个师５０００人。此后参加莱芜战役、泰蒙战役、孟良崮战役及南麻临胸战役，或阻援或攻坚，都出色完成任务。１９４７年８月起转战胶东，成为保卫胶东的主力军，在胶河战役、高密攻坚、莱阳战役等战役中都取得重大胜利。

    １９４８年２月，华野二纵奉命南下，与第十一、第十二纵队组成苏北兵团，开赴直接威胁敌京沪心脏地区的苏北战场。６月为策应豫东战役，攻击陇海路东段，解放多处城镇，一举改变苏北战局。１１月，参加淮海战役，在围歼黄百韬兵团、固镇阻击战和总攻杜律明集团的作战中，共歼灭国民党军３．６万余人。在解放战争中，二纵多是默默担当“吃苦耐劳”的阻援任务，虽没有天下闻名的显赫声威，但是其贡献还是相当重大。

    １９４９年２月，根据中央军委关于统一全军编制及部队番号的命令，二纵改称中国人民解放军第二十一军。４月参加渡江战役，在枞阳以东渡江，占领贵池、青阳等地。５月，直下浙江，解放杭州、温州、宁波、奉化、象山等地。１０月发起温州湾战役，攻占洞头、鹿栖、大嵛山等岛屿。１１月，攻占六横、桃花等岛屿。１９５０年３月参加舟山战役，尔后担负浙东、浙南和闽北地区的海防任务。

    １９５３年３月，第二十一军入朝参战，参加金城战役等作战，朝鲜停战后，支援朝鲜人民重建家园于１９５８年８月回国。回国后驻山西，隶属北京军区。１９６５年１０月，二十一军某师某团八连因在战备训练中表现突出，被国防部授予“英雄八连”荣誉称号。