Каменная крепость Пыльтсамаа была построена на берегу реки в 1272 г. В 1570—1578 гг. крепость была резиденцией короля Лифляндии Магнуса. В 18 веке Вольдемар Иоганн фон Лаув перестроил неоднократно разоренную крепость в величественный дворец в стиле рококо. Замок и перестроенная из пушечной башни церковь сгорели в 1941 г. Церковь восстановили в 1952 г., а консервация стен замка началась в 1970-е гг.