江南区古属百越之地。始皇帝三十三年（公元前214年），江南区地属桂林郡（郡治在今贵港市）。汉高帝元年（前206年），地属南越国。西汉元鼎六年（前111年），地属郁林郡领方县。三国时，地属吴国广州郁林郡临浦县。东晋大兴元年（318年），建晋兴郡（相当于地区一级），郡治在晋兴县城，即今南宁市邕江南岸平南村（今白沙村）雷庙一带，后迁到北岸凌铁村一带，这是南宁市有建制之始。故民间有“先有亭子，后有南宁”之说。

隋开皇十八年（598年），地属宣化县，归郁林郡统辖。唐贞观六年（632年），地属邕州。天宝元年（742年），地属朗宁郡辖地。乾元元年（758年），复属邕州。五代十国时，地属南汉国邕州。宋代，地属邕州和宣化县。元朝至元十六年（1279年），地属邕州路宣化县。泰定元年（1324年），地属南宁路。明朝洪武二年（1369年），地属南宁府宣化县，直至清末。

民国元年（1912年），地属南宁府。民国二年，地属南宁县。民国三年，地属邕宁县。

新中国成立初期，邕江南岸范围地属南宁市第二区区公所。1955年12月，地属南宁市郊区公所。1953年3月16日，建立南宁市第三区（兴宁区的前身）水上临时工作委员会，管理邕江上的船户。1954年8月，成立南宁市第三区水上办事处，水上临时工作委员会随之撤销。1955年12月15日，第三区水上办事处改建为邕江上段、邕江下段2个街道办事处。1957年12月，2个街道办事处合并为南宁市街道水上办事处。1958年7月，水上办事处划归新建立的兴宁区领导，9月，水上街道办事处改建为街道上游人民公社。1959年7月，上游人民公社改名为水上人民公社。1960年6月，水上人民公社改为兴宁人民公社下辖的分社。1961年6月，水上分社复改为水上人民公社。1962年1月，水上人民公社隶属南宁市街道工委，同时加挂水上街道办事处牌子。1968年4月22日，水上人民公社革命委员会成立，隶属市街道工作领导小组领导。1971年6月，水上人民公社革命委员会改名为江南人民公社革命委员会，隶属市街道工作领导小组（局）。

1979年3月22日，江南人民公社撤销，成立江南区党委和江南区革命委员会。1980年5月，设立江南区人大常委会，成立江南区人民政府。1987年10月，成立政协江南区委员会。