圣殿山是犹太教徒最重要的一处圣地，公元前１千年犹太大卫王的儿子所罗门，耗时７载，动用２０万人在耶路撒冷一座小山，即后来著名的神庙山（也称圣殿山）上兴建了一座华丽的圣殿，作为朝拜犹太教神主耶和华的地方，这就是著名的耶路撒冷第一圣殿。公元前５８６年，巴比伦军队攻占耶路撒冷，第一圣殿被毁，后来犹太人两度重修圣殿，但又在罗马占领时期两次被毁坏殆尽。保护至圣所著名的大殿是公元前３７年由希律一世大帝在所罗门建造的第一圣殿的废墟上重建起来的。希律圣殿被古罗马提图斯军团毁于公元７０年，此后，犹太人在原来犹太圣殿废墟上用原来圣殿的石头垒起一堵５２米长、１９米高的大墙，称为“西墙”。犹太人称为“哭墙”，成为当今犹太教最重要的崇拜物。
犹太人认为哭墙是当年圣殿留下的唯一遗迹，因而是犹太教最神圣的祈祷地方。许多世纪以来，犹太教徒都到这里来面壁祈祷，每当追忆历史上圣殿被毁情景，便不禁嚎啕大哭一场，哭墙因此而得名。以色列人发誓决不废弃“哭墙”。
哭墙看起来和一堵巨大的石墙无异。每天都可看见犹太人自动分成男女两拨，分别在哭墙的北南两段祈祷，他们常常手捧《圣经》，一边祈祷，一边点头（根据犹太教规，凡是念到圣人名字的时候必须点头），有的人更搬把椅子面对哭墙，一整天都沉浸在与上帝的对话中；至于闻名世界的、把写着心愿的纸条塞入哭墙墙缝的行为，倒不是犹太人的习俗，而是旅游者们的发明。
１９６７年“哭墙”所在的破败街区后被拆除，成了一片宽阔的铺砌广场。虔诚的犹太教徒热切希望能重建这一圣殿，但那是不可能的，因为那将意味着要拆除后来在遗址上建起的穆斯林圣所。在圣殿地基附近近还建有一座犹太教堂和一座拉比学馆。
１９８１年哭墙被列入《世界遗产目录》。