El castillo de Châtillon se encuentra a espaldas de la iglesia parroquial, inmerso en un hermoso parque.
Parece que data de la época romana: el mismo nombrede Châtillon tiene su origen en “castrum” (castillo), lo que indica que en la localidad debía de haber una fortaleza romana.
Tras haber pasado por manos de diversas familias nobles, a finales del siglo XIV, el castillo se convirtió en propiedad de los vizcondes de Aosta, que después pasaron a ser señores de Challant. Jean de Challant mandó ampliarlo en el siglo XV. De esta época quedan todavía la sala del archivo, con el sofito de madera, y los frescos de las paredes, similares a los del castillo de Fénis.
En 1435, François di Challant, que no había tenido hijos varones, hizo que los Saboya lo autorizasen a testar a favor de sus hijas, contraviniendo la Ley Sálica. Así, Catherine se convirtió en la heredera, pero los otros miembros de la familia reclamaron una nueva intervención del duque de Saboya, que nombró heredero a Jacques de Challant, sobrino de Jean, y declaró rebeldes a Catherine y su marido Pierre d’Introd. Los dos, decididos a resistir, fortificaron el castillo de Châtillon, pero poco después hubieron de rendirse ante el ejércido de Jacques, que derribó las murallas y dañó seriamente el fuerte.
De las manos de Jacques, el castillo pasó a Louis, que lo restauró por completo. En 1502, su sucesor Philibert, con ocasión del bautismo de su hijo René, hizo decorar el interior de la capilla del este con las pinturas que todavía se pueden ver allí. En 1678, Georges de Challant hizo decorar la arcada de cristal de la capilla con la imagen de la Santa Síndone, en recuerdo del tiempo que la preciosa reliquia pasó en este lugar durante su traslado de Chambéry a Turín.
En 1717, Paolina Solaro di Govone, esposa de Georges-François, emprendió la tercera reconstrucción del castillo. Modificado y ampliado, no solo cambió su aspecto externo, sino que se volvió mucho más cómodo. A Paolina se debió también la construcción de la avenida de los tilos y del jardín francés.
En 1755, un terremoto dañó seriamente el castillo y hasta 1769 Charles-François-Octave no pudo comenzar con la reconstrucción del tejado y las murallas. En 1770, el condado pasó a François-Maurice, que murió un año después del nacimiento de su único hijo, Jules-Hyacinthe. Este último se convirtió en heredero universal bajo la tutela de su madre, Gabriella Canalis di Cumiana; pero el 2 de mayo de 1802, a la edad de siete años, también el último descendiente de los Challant murió.
En 1814, tras permanecer viuda durante 18 años, Gabriella se casó con Aimé Passerin d’Entrèves, quien, en 1841, tras la muerte de su esposa, heredó todo el patrimonio de los Challant.
Sus descendientes realizaron otras obras: derribaron la torre hexagonal situada a la entrada y el puente levadizo sustituyéndolos con la casa del guardia, el invernadero y los establos; mandaron construir una torreta con ventanas para iluminar la gran escalera que conduce al piso superior y rodearon el parque con una valla.
El castillo es privado y abierto solamente para ocasiones particulares, mientras que el parque puede ser visitado.