Situé au centre du chef-lieu, c’est le plus ancien château de la commune de Perloz: on peut vraisemblablement affirmer qu’il date du XIIème siècle, puisqu’un document de 1195 évoque une “salle domaines” à Perloz.
De nos jours encore, on l’appelle l’ “Ohtal” (du latin “hospitalis” et du vieux français “ostel”), c’est-à-dire une demeure fonctionnelle dotée de tous les services.

La construction est imposante avec cinq étages et ses dimensions avaient certainement une signification politique : le caractère imposant de la maison forte se devait d’attirer le regard de tous ceux qui remontaient la vallée du Lys pour prouver la puissance de la famille Vallaise.
Une série de fenêtres jumelées, trilobées, en demi-cercle et à meneaux, bordées de pierre grise constitue élément d’intérêt. A l’intérieur le palais était doté d’un puits où l’on pouvait puiser de l’eau fraîche. On peut encore voir deux cheminées monumentales : l’une d’elles est décorée des armoiries des Vallaise, sculptées dans la pierre grise.

Le château fut incendié au cours du “nettoyage” fasciste du 30 juin 1944 : le toit a été reconstruit, mais il a été impossible de refaire les deux étages de plancher.