香港有一座Temple Hill，直譯為「廟山」，但官方的中文名稱是「慈雲山」，它叫 “Temple Hill”（「慈雲山」），皆因山上有一座古老的觀音廟，據說是因觀世音菩薩的「慈雲普救」而得名。因此，要說慈雲山的歷史，不得不提山上的觀音廟。此廟現今叫「觀音佛堂」，始建於清朝咸豐年間，至今已有一百六十九年歷史，算得上是香港境內的一座古刹。寺院規模不大，但因歷史悠久，善信眾多，每年如觀音誕或借庫之日，香火尤其鼎盛，信眾蜂擁而至，從山腳拾級而上，人山人海，絡繹不絕。

早年考古學家曾於慈雲山上發現一條古驛道和古關卡遺址，該驛道估計寬十英尺，從今天的鑽石山腳附近一直伸延到慈雲山山頂，總長一里有餘，再經瀝源（今天沙田一帶）進入北部內陸。據說這條古驛道早於宋朝已經出現，古時還沒有獅子山隧道和大老山隧道，慈雲山上的驛道便成為了商旅往來九龍半島和新界沙田之間的主要通道。

這些古代商旅以鹽商為主。香港海岸線漫長，自古以來便是產鹽地區。宋朝時官府在現今九龍灣和九龍城一帶設置鹽場，名叫「官富場」，並派鹽官監督，兼有士兵駐紮。宋代時香港屬於廣州府東莞縣，香港鹽場產量豐富，曾位列東莞縣內四大鹽場之一，生產的鹽除了供應本地居民食用之外，還遠銷內地，包括廣西一帶。可想而知，當年鹽商便是沿著慈雲山這條驛道把大量的海鹽運輸進入內陸。直到清朝中葉，香港已被納入廣州府新安縣的管轄範圍，鹽商仍沿用此驛道運鹽。據說鹽商從九龍城海邊把海鹽運來，一般都會在慈雲山腳逗留數天，做足準備後再繼續啟程。因為運鹽的路程遙遠，山路或有險阻，加上天有不測之風雲，所以當時行走古道的人便集資興建一座觀音廟，祈求觀世音菩薩庇護，保佑商旅一路平安，安全歸來。

今天，觀音佛堂內的銘碑還有這麼一段記載：

「慈雲山下驛道自昔為商旅必經之所，其中虔誠者遂於咸豐三年（1853年）醵資建廟，奉祀觀音。」