Op deze plek stond een laatmiddeleeuwse woontoren (1383). In 1777 liet de toenmalige heer van Loon op Zand – Louis van Salm-Salm – deze verbouwen tot landhuis. Hiertoe werd de voorburcht en een groot deel van het oude kasteel gesloopt. Het ontwerp was van architect Stevens. Verhees was als aannemer verantwoordelijk voor het sloop- en bouwwerk.