玄武湖的历史最早可追溯到距今2220多年前的先秦时期。从公元前221年的先秦到西汉玄武湖分别称作秣陵湖、蒋陵湖。南朝时，玄武湖进入它在历史上的鼎盛时期。出于帝王都“四神布局”的需要，又由于宋元嘉年间湖中两次出现所谓的“黑龙”，湖名开始改为“玄武”。
从东晋到梁代，玄武湖先后有过昆明湖、饮马塘、练湖、习武湖、练武 湖等名称。隋唐以后，玄武湖随着都城的北移，逐渐衰落下来。
宋熙宁八年（1075年），江宁府尹王安石奏准宋神宗泄湖得田，玄武湖因此而消失了二百多年，经过元大德五年（1301年）至正三年（1343年）的两次疏浚，玄武湖才重新在南京版图上出现，但面积已大大缩小，大约只有六朝时期的三分之一了。
到明朝玄武湖的命运再度发生变化，明洪武十四年（1381年），朱元璋选中玄武湖作为明朝中央政府黄册的存放地，建后湖黄册库（相当于现在的中央档案馆）。玄武湖从此作为一代禁地，与外界隔绝了二百六十多年。
明亡以后，玄武湖重新对外开放，清朝的皇帝康熙、乾隆均曾来此游历并留下诗词。清朝同治以后，玄武湖有了一些园林建筑，其两江总督曾国藩在梁洲重修湖神庙，并增建湖心亭、大仙楼、观音阁、赏荷厅。后清大臣左宗棠还修筑了连通孤凄埂与梁洲的长堤，解决了游玄武湖“必自太平门出，令舟而行”的不方便状况。清宣统元年（1909），端方、张人骏开辟丰润门（今玄武门），筑新堤，扩大湖内绿地，徐绍桢又建陶公亭及湖山览胜楼。
进入民国，玄武湖开始有了相应管理机构，1928年9月又改园名为“五洲公园”。1934年4月，重改“五洲公园”为“玄武湖园”，绿地面积进一步扩大，花卉品种增多，一批建筑如玄武厅、诺那塔、凇沪抗战纪念塔等先后落成。
解放以后，人民政府对玄武湖进行了大规模的扩建改造，迁出湖民，广植花草，多增景点，面貌全新。现为江苏省文明风景旅游区示范点、江苏省环境教育基地、南京市三星级公园、南京市青少年绿色环保教育基地。2005年底，景区获得国家AAAA级旅游区称号。