Situato al centro del capoluogo, è il castello più antico del comune di Perloz, che risale sicuramente al XII secolo, dato che un documento del 1195 parla di una “sala domini” in Perloz.
Ancora ai nostri tempi viene chiamato l’ “Ohtal” (dal latino “hospitalis” e dal francese antico “ostel”), cioè dimora comoda con tutti i servizi.

La costruzione è imponente, con cinque piani fuori terra, e queste dimensioni dovevano avere anche un significato politico: l’imponenza della casa-forte doveva infatti colpire lo sguardo di quanti risalivano la Valle del Lys, dando prova della potenza della Famiglia Vallaise.
Interessanti sono una serie di finestre a bifora, trilobate, a tutto sesto e a crociera, bordate di pietra grigia. All’interno il palazzo era dotato di un pozzo a cui attingere acqua fresca. Due camini monumentali sono ancora visibili: su uno di essi lo stemma dei Vallaise, scolpito nella pietra grigia.

Il castello fu incendiato durante il rastrellamento nazi-fascista del 30 giugno 1944: il tetto è stato rifatto, ma non è stato possibile ripristinare i due piani di pavimento in legno.