Le château d’Ussel, situé sur un promontoire évident et escarpé, domine Châtillon du côté sud.
Construit par Ebalo de Challant vers le milieu du XIVème siècle (date confirmée par l’analyse dendrochronologique), le Château d’Ussel marque un tournant dans l’architecture militaire valdôtaine. Nous sommes, en fait, en présence du premier exemple de château monobloc du Val d’Aoste, dernière phase d’évolution du château médiéval, qui marque la transition entre le château contemporain de Fénis et les formes austères de Verrés. Après être passé plusieurs fois des Challant aux Savoie et vice-versa, le château a servi de prison, jusqu’à son abandon. En 1983, le baron Marcel Bich, après avoir racheté le château à la famille Passerin d’Entrèves, héritier des Challant, en fit don à la Région qui procéda à sa restauration et en fit un espace d’exposition.

De forme rectangulaire, aux dimensions remarquables, le château présente une solide maçonnerie extérieure avec une bande sommitale de petits arcs aveugles, sauf sur la partie nord, et de splendides fenêtres jumelées, toutes différentes, ornées de décorations florales et géométriques. Du côté sud (vers la montagne), dans les angles, on trouve deux petites tours cylindriques adjacentes qui, à l’origine, étaient reliées entre-elles par un chemin de ronde protégé par des créneaux. Toujours au sud, on trouve aussi l’entrée, surmontée d’un mâchicoulis. Le côté nord, tourné vers Châtillon, présente deux tours quadrangulaires légèrement saillantes au milieu desquelles s’élève le donjon, symbole de la puissance féodale. Son intérieur abrite des cheminées monumentales avec de grandes consoles, situées sur une même ligne ascendante de façon à utiliser le même conduit de fumée. On peut également voir les traces des escaliers et de la répartition des étages.
Avant sa restauration, il s’agissait presque d’une ruine, mais des recherches archéologiques ont permis de découvrir et de réintégrer les lacunes. Accolé aux créneaux, un parcours piéton a été aménagé ; il permet au visiteur de contempler la plaine de Châtillon et ses bâtiments historiques.