1937年7月抗日战争爆发后，在洛川召开的中央政治局扩大会议上被选为新的中央军委委员。8月25日，中国工农红军改编为国民革命军第八路军，任八路军第129师副师长。1938年4月率以129师和115师各一部组成的“路东纵队”，由辽县进入冀南地区，开展敌后平原游击战争。1939年6月，奉命离开冀南到山东工作。1940年6月，根据党中央指示，离开山东回延安。后参加高级研究组的学习。1942年5月任陕甘宁晋绥联防军司令部副司令员兼参谋长，1943年3月调任中国人民抗日军政大学代校长。8月，兼任抗大总学习委员会书记，负责组织领导抗大的整风运动。1944年7月以后，因病住院。1949年3月任太原前线司令员兼政委和太原前线总前委书记。解放战争时期，先后指挥了临汾、晋中、太原等战役，为解放战争的胜利立下不朽的战功。
1949年10月中华人民共和国成立后，当选为第一届中国人民政治协商会议全国委员会委员，中华人民共和国中央人民政府委员会委员，并被任命为人民革命军事委员会委员和中国人民解放军总参谋长。1954年6月任中央人民政府人民革命军事委员会副主席，分管空军和国土防空工作。1954年9月当选为第一届全国人大常委会委员，并被任命为中华人民共和国国防委员会副主席。1955年9月，被授予中华人民共和国元帅军衔。