據稱茶果嶺天后廟的原址在觀塘茜草灣畔(即現時麗港城)，建於道光年間（1821-1850），有說建廟者為官府，也有說是林姓家庭。清朝年間，觀塘一帶水域為軍艦及商船停泊之處；傳說舊廟處風水寶地，風水線由牛頭角至茶果嶺、茜草灣，再連接紅磡大環山以至青衣。此風水線亦是由九龍至茜草灣的航道，具吉祥富貴之象，善信多循此水道往當時的天后廟參拜。

清朝中晚時期，牛頭角、茜草灣、茶果嶺和鯉魚門四條客家村落，各有一名認可的「四山頭人」，他們可穿官服，管理鄉中事務，並獲授權向「官批石塘」(石塘即石礦場)收稅。1840年代，舊廟側堂設四山公所作議事的地方。公所亦曾設義教私塾，及後發展為四山公立學校。

舊廟曾於光緒十七年(1891年)重修，惟在1911與12年間毀於颶風，天后神像寄奉茅舍中達30年之久，直至1941年居民再集資修建舊廟；1947年因興建亞細亞火油公司油庫，舊廟拆卸。政府其後協助於現址重建天后廟，並於1948年落成開光。