武当山榔梅祠位于通往金顶的路上，是全山十六座祠庙中最大也是保存较完好的一处。
明永乐初年，武当榔梅开花结果，武当道士李素希将榔梅果贡献朝庭，得到了明成祖朱棣的赏赐。皇帝认为，榔梅结果是个“瑞兆”，是玄武大帝对他登基即位的赞美，近而也成了明皇室大修武当，酬谢神恩的理由之一。
相传，玄武大帝修练时，曾折下一段梅枝插在榔树上，说：“吾若道成，开花结果”。后来，他果然得道成功，梅枝在榔树上也插栽成活。
朱棣曾下圣旨对榔梅树进行保护，将果实做为贡品和禁果，由武当道士每年进献。皇帝还经常用榔梅果奖赏有功之臣，朝庭功勋大臣们都把能得到一枚榔梅果做为政治荣誉而终身荣幸。
明代著名医学家李时珍在《本草纲目》中记载：榔梅，只出均州太和山。地理学家徐霞客在游览武当山后，也曾记载：榔梅祠旁多榔梅……，并形容榔梅开花时“花色浮空，映山绚丽”……
但是到了清朝，不知什么原因，武当山的榔梅树就已经完全绝迹，许多人遍访武当寻找榔梅，但都是扫兴而归，只留下“惆怅依荒岩”的遗憾。
值得庆幸的是，明嘉靖五年，安徽齐云山道士访武当山时，武当道教做为贵重礼品将榔梅树赠予齐云山。一九九八年，武当山将榔梅树从齐云山引回，栽植在榔梅祠旁。人们希望不久的将来，武当榔梅会再现“花色浮空，映山绚丽”的景观。