1946年2月加上将衔,任京沪卫戍区总司令加上将衔。7月任陆军副总司令兼兼南京警备司令。
1947年3月兼第1兵团司令官,率部参加对山东解放区的重点进攻。5月孟良崮战役所部整编第74师被全歼。汤恩伯恩伯被撤职查办。7月代理陆军总司令
1948年8月任衢州绥靖公署主任。12月升任京沪警备总司令。
1949年1月任京沪杭警备总司令,奉蒋介石介石之命凭借长江天险固守京沪杭地区。4—5月,所部主力在中国人民解放军发动的渡江战役、上海战役中被歼,残部溃退厦门,5月任国防部厦
门指挥所主任。7月任金门县厦门防卫部主任,8月任福建省主席兼东南军政长官公署厦门分署主任。10月参与指挥金门战役,月底由金门去台湾,任台湾东南军政长官公署副长官。
1950年任台北总统府战略顾问。闲赋在家。
1953年一月率中国国民党军事代表团访问日本。
1954年5月赴日本医治胃病。6月29日在日本东京都庆应义塾大学医院去世,一说是被日本医生谋杀。后军衔被追赠中华民国陆军二级上将。7月15日,汤恩伯灵柩自殡仪馆送往台北县南宫壶山下葬,何应钦、陈良、胡宗南、蒋经国为其送葬。后迁葬于五指山公墓。