Die Burg von Châtillon befindet sich neben der Pfarrkirche mitten in einem schönen Park.
Es scheint, dass sie auf die Römerzeit zurückgeht, denn der Name Châtillon hat seinen Ursprung in “castrum” (= “Kastell”) und weist auf einen Ort hin, an dem es ein Römerlager gegeben haben muss.
Nachdem sie durch die Hände verschiedener Adelsfamilien gegangen war, gelangte die Burg zu Ende des 14. Jahrhunderts in den Besitz der Vicomtes von Aosta, die in der Folge die Herren von Challant wurden. Im Jahr 1400 ließ sie Jean de Challant vergrößern. Aus dieser Zeit sind noch der Archivsaal mit der Holzdecke und die Wandfresken erhalten, die ähnlich wie die der Burg von Fénis sind.
Im Jahr 1435 ließ sich François di Challant, der keine männlichen Nachkommen hatte, von den Savoyern die Erlaubnis geben, entgegen dem salischen Gesetz ein Testament zugunsten seiner Töchter aufzusetzen. Catherine wurde so Erbin der Burg, aber die übrigen Familienmitglieder riefen noch einmal den Herzog von Savoyen an, der dann Jacques de Challant, den Neffen von Jean, zum neuen Erben bestimmte und Catherin und ihren Gemahl Pierre d’Introd zu Rebellen erklärte. Die beiden waren entschlossen, Widerstand zu leisten und befestigten die Burg von Châtillon, mussten sich aber bald darauf dem Heer von Jacques ergeben, der die Wehrmauern zerstörte und das Herrenhaus schwer beschädigte.
Von Jacques ging die Burg auf Louis über, der sie vollständig restaurieren ließ. Im Jahr 1502 ließ sein Nachfolger Philibert anlässlich der Taufe seines Sohnes René das Innere der Ostkapelle mit den Gemälden schmücken, die dort noch immer vorhanden sind. Im Jahr 1678 ließ George de Challant den Glasbogen der Kapelle mit dem Bildnis des Heiligen Grabtuchs schmücken zur Erinnerung daran, dass die kostbare Reliquie bei ihrer Überführung von Chambéry nach Turin hier deponiert worden war.
Paolina Solaro di Govone, die Gattin von Georges-François, unternahm im Jahr 1717 den dritten Umbau der Burg. Nach dem Umbau und der Erweiterung hatte sie nicht nur ihr äußeres Erscheinungsbild geändert, sondern wurde auch viel komfortabler. Paolina ist auch die Anlegung der Lindenallee und des französischen Gartens zu verdanken.
Im Jahr 1755 wurde die Burg durch ein Erdbeben schwer beschädigt und erst 1769 konnte Charles-François-Octave mit dem Wiederaufbau des Dachs und der Mauern beginnen. Im Jahr 1770 ging die Grafschaft auf François-Maurice über, der ein Jahr nach der Geburt seines einzigen Sohns, Jules-Hyacinthe, verstarb. Dieser wurde also der Universalerbe unter der Obhut seiner Mutter, Gabriella Canalis di Cumiana. Aber am 2. Mai 1802 starb auch der letzte Abkömmling der Challant im Alter von sieben Jahren.
Im Jahr 1814 heiratete Gabriella, nachdem sie 18 Jahre Witwe gewesen war, Aimé Passerin d’Entrèves, der 1841 nach dem Tod seiner Frau das gesamte Vermögen der Challant erbte.
Seine Nachkommen ließen weitere Arbeiten durchführen: sie ließen den sechseckigen Turm am Eingang und die Zugbrücke demolieren und ersetzten Sie durch das Wächterhaus, das Gewächshaus und die Stallungen. Sie ließen ein Türmchen mit Fenstern bauen, um die große Freitreppe zu erleuchten, die zum Obergeschoss führt, und friedeten den Park mit einer Mauer ein.
Das Schloss ist privat und nur in Gelegenheit besonderer Veranstaltungen geöffnet, während der Park kann besichtigt werden.