Het kasteel is eind achttiende eeuw gebouwd door in opdracht van de Akense textielfabrikant Johann von Clermont. De zijvleugels van Bloemendal dateren uit de jaren negentig van de overige eeuw. Het gebouw is ruim anderhalve eeuw in gebruik geweest door een Franse religieuze congregatie. Vandaar dat de tuin nog altijd kloostertuin wordt genoemd.
