Le Château Charles est un ensemble de maisons fortes. Il fut habité par Jean Charles, notaire et châtelain de Perloz et juge royal de Bard: en 1709, pour avoir contribué à libérer le fort des français, il fut annobli par le duc Victor Amédée II.

Cette maison forte est située sur le côté gauche de la route carrossable en arrivant de Pont-Saint-Martin.
Il s’agit d’un ensemble de trois bâtiments composés de quatre étages hors-sol, au bord d’un raide escarpement avec un ruisseau au fond.

La tour latérale, munie de mâchicoulis, présente à l’intérieur un beau “viret” (escalier en colimaçon) datant de 1616, orné d’une balustrade en pierre.
Les deux étages supérieurs de la maison forte ont encore les plafonds en bois d’origine et une pièce possède un faux plafond avec une cachette. La cuisine est dotée d’une énorme cheminée avec une hotte en bois.
Les caves et celles que l’on appelait “les prisons” ont leur base sur la roche vive, tandis qu’une ouverture au-dessus du petit torrent permettait de quitter l’habitation en cas de danger. A proximité de la tour d’entrée, on trouve un autre escalier qui permettait l’accès au corps inférieur du château, où se trouve une porte ornée de l’armoirie des Vallaise-Challant, en mémoire du mariage de Pierre di Vallaise-Challant (branche De la Côte) et de Antoinette de Challant (vers 1400).
Ces bâtiments furent réaménagés et modifiés au fil des ans, mais leur construction pourrait remonter au XIV ou XVème siècle avec des ajouts au XVIème et au XVII siècles.