遇真宫背依凤凰山，四面山水环绕，过去曾叫做黄土城。
遇真宫在最鼎盛时，殿堂道房达四百间，占地面积五万六千多平方米；其大殿是武当山保存较完好的最具明初风格的建筑。而最让人称道的是，遇真宫是皇帝专为一名武当道士修建的，这名道士叫张三丰。史书记载，张三丰名张全一，字玄玄。他丰姿魁伟，大耳圆目，无论寒暑只披件蓑衣“或处穷山，或游闹市”，人们都认为他是神仙中人。
明洪武初年，张三丰来到武当山，曾在此处结庵修练。他演创的武当拳，名振天下，后经历代宗师的不断演进发展，最终成为中华武术中最具影响的流派之一。因张三丰被奉为武当武术的祖师，遇真宫亦被历代武当拳第子崇敬。
张三丰在武当时曾说，此山异日必大兴。几十年后，明成祖果然大修武当。
明洪武二十三年，张三丰离开武当，不知去向。明太祖朱元璋及明成祖朱棣都曾下诏遣使求访张三丰其人。明成祖还在给张三丰的信中说：“……真仙道德崇高，超乎万有，神妙莫测。朕才质疏庸，然而至诚愿见之心夙夜不忘……”但事与愿违，谁也没能访到有“长生久视之术，超凡入世之功”的张三丰，这位武当高人亦成为神秘而让后人仰慕。为表达其诚意，明成祖亲自下令建造了“遇真宫”，并谕敕张三丰祀像一组置于大殿正中，供人朝拜。
至高无上的皇帝为武当山的一名道士建造宫观，并塑像祀奉，派官员洒扫，这在中国历史上是绝无仅有的。遇真宫也因此成为武当道教浓重的一笔。