據宋代淳熙年間梁克家《三山志》載：“梁時有王霸仙人在怡山修道。”據傳說，怡山是“飛鳳落羊”的一塊福地，是煉丹士王霸居所。後來王霸在皂莢樹下“蟬蛻而去”，羽化成仙。接《福建通志》載：唐貞元中，觀察使李若初登城樓望見有五種色彩的雲在王霸住所上向天上飄去，於是就在原址上建沖虛觀祀之。唐鹹通八年(西元867年)觀察使李景溫延請長沙懶安禪師來此興建佛寺。兩年後改名清禪寺，不久又改名延壽寺。五代後唐長興四年(西元933年)改名長慶寺。後遭戰亂破壞，唯大殿、藏經閣、法堂、西僧堂尚存。宋天聖年間(西元1023-1032年)複建。清順治七年粵東空隱禪師來訪懶安舊跡，巡遠佟國鼎延請住持，捐金重建，未幾複馳。清光緒間，微妙禪師，渡洋募金，興廢舉墜，今之殿宇田園，皆其遺澤，寺周圍垣內地一頃餘，垣外同。福州舊時東西南北四郊均有禪寺，而長慶寺在西郊，故俗稱“西禪寺”。