Situado en el centro de Nus, fue construido por los señores de Nus en el siglo XII-XIII. Tras sufrir un incendio, el castillo fue abandonado por sus propietarios en favor del castillo situado en la colina (castillo de Nus). Debe su nombre a la leyenda que cuenta que Pilatos se detuvo aquí en el viaje hacia el exilio en la Galia, tras la condena de Jesús.
Hoy, las ruinas que sobrevivieron al incendio han sido restauradas y se pueden visitar: con una pequeña escalera se puede subir hasta la vuelta superior de las torretas.