温泉寺古为缙云寺下院，庙宇辉煌，石雕甚众，寺内香火兴旺。后经北周武帝和唐武宗两度灭佛，毁坏严重，唐贞宗时期重建庙宇，并在后山岩间刻摩崖佛像。北宋景德四年(年)，温泉寺受朝廷封赐为崇胜禅院。明、清时期，可算是温泉寺的黄金时代，庙宇得重新修建，同时在寺前建造了接官亭，寺后迎流砌池，广方四丈，上翼以亭，无论天晴落雨，游人均可下池沐浴，并利用温泉水源和地形，修建了戏鱼池、半月池等，供游人观赏。