Dit kasteel werd vanaf 1400 gebouwd door de Duitse orde. Tot 1544 was Hendric van Eynatten – overovergrootvader van Jan van Amstel – als plaatselijk leider (commandeur) van deze geestelijke ridderorde hoofdbewoner van het kasteel. Het poortgebouw met voorpoort en hoektoren en de binnenpoort stonden er al toen Jan geboren werd.