Situato nel centro di Nus, venne fatto costruire dai Signori di Nus nel XII - XIII secolo. In seguito ad un incendio fu poi abbandonato dai proprietari in favore del Castello situato in collina (Castello di Nus).
Deve il suo nome alla leggenda secondo la quale Pilato, in viaggio verso l’esilio in Gallia dopo la condanna di Gesù, vi avrebbe fatto sosta.
Oggi i ruderi scampati all’incendio sono stati restaurati e sono visitabili, grazie ad una scaletta che permette di salire fino al giro superiore delle torrette.