西施殿在诸暨城关西，左伴浣纱江，右依苎萝山，古称浣纱庙，祀西施。相传城关镇兰萝山上很早就有纪念西施的建筑，唐时已具规模，历宋元而不废。明崇祯五年(1632) 诸暨知县张央重修后改名西子祠。清道光、咸丰年间及民国18年(1929)均有修葺，并改称西施殿。

西子祠屡毁屡修，清道光二十二年(1842)，由陈延鲁捐资重修。咸丰十一年(1861年)又毁于战火。光绪(1875一1908)年间，里人集资重修，架屋三楹，余皆荒废。民国初，已成“短垣半纪，藓草迷离。”民国十八年(1929)，陈锦文等集资再建，正厅三间，祠宇高敞，门额书颜体“西子祠”三字，里人周嗣培署。前临旷地，植花栽竹，围以石栏。民国二十三年(1934)两庑又配筑南厅、北阁。正厅銮阁，中供西施塑像，旁立宫女二，銮阁顶端竖二小匾，一曰“归真处”，一曰“时雨之化”。左右置小联。

今殿为1990年重修，坐北朝南，三开间，重檐歇山顶，殿内塑西施像。西子祠门联为：“山围古堞青萝色；水涌寒滩白些声。”西子祠龛联为：“越锦何须衣义士；黄金只合铸娇姿。”柱联有：“驻节观风，想当中名娃粉黛，国士风流，俯仰千秋人物；飞觞醉月，问门外山色苍茫，溪声幽咽，浮沉几代兴亡”。其他景点有古越台、郑旦亭、碑廊、红粉池、沉鱼池、暨阳先贤阁等，是一个颇具特色的仿古建筑群。