Das Schloss der Herrschaften von La Tour de Villa liegt imposant auf einer Anhöhe, etwas über der Kirche Sainte-Marie-Madeleine.
Urahn dieses Adelsgeschlechts war Guido, dessen Name in Zusammenhang mit der Einnahme der Festung von Bard im Jahr 1242 in einem Bündnisvertrag mit dem Grafen von Savoyen auftaucht. Grat Philibert de La Tour verstarb als letzter männlicher Nachkomme im Jahr 1693. Das Familienwappen zeigt einen goldenen Löwen mit roter Zunge und Krallen, der an einem schwarzen Schild hochklettert. Darunter sind die Worte „Praecibus et Operibus“ (durch Gebet und Taten) zu lesen. Nachdem das Schloss zunächst von den Familien Aymonier und Carrel geerbt wurde, ging es infolge in die Armenkasse der Pfarre Saint Laurent in Aosta über. Aus diesem Grund ist es noch heute unter dem Namen „Tour des pauvres“ (Armenturm) bekannt. Die Ruinen des mittlerweile verfallenen Schlosses wurden im Jahr 1864 von einem gewissen Vincent Carlin gekauft, der es im Jahr 1885 seinerseits dem damaligen Bischof von Aosta, Auguste Duc, verkaufte. Dieser machte es infolge einer Restaurierung zu seinem Sommeransitz. Im Jahr 1921 ging das Schloss zunächst an die Barone Gerbore von Saint-Nicolas über und befindet sich seit 1945 im Besitz einer Familie aus Mailand.

Ursprünglich bestand das Schloss La Tour de Villa fast ausschließlich aus dem zentralen Turm.
Im Rahmen der Restaurierungsarbeiten wurden der West- und Nordflügel nicht rekonstruiert, wodurch Platz für einen schönen Hof mit Blick über die Ebene blieb.
Heute umfasst der Gebäudekomplex zwei Teile, die sich klar voneinander unterscheiden: einerseits der Turm aus dem 12. Jahrhundert, andererseits der halbkreisförmige Wohnbereich aus dem 15. Jahrhundert. Der Turm mit quadratischem Grundriss erhebt sich inmitten eines Bauwerks, das auf einem aus der Erde ragenden Felsen steht. Am Fuße des Mauerwerks befinden sich, vor allem an den Ecken, lange keilförmige Strukturelemente. Zwei an der Nordseite angeordnete Tore führen nach draußen: Die Originaltür mit solidem Rahmen befindet sich auf einer Höhe von rund 7,40 m. Das zweite Tor hingegen ist über eine Doppeltreppe zu erreichen und wurde während der Restaurierungsarbeiten im Lauf des 19. Jahrhunderts geschaffen.
Der Turm selbst erstreckt sich über drei Etagen und einen Holzspeicher, der über eine Wendeltreppe zu erreichen ist. Das Dach des zinnenbewehrten Turms bildet eine Plattform aus Blei, die außerdem als herrliche Aussichtsterrasse dient. Auch der Wohnbereich mit seinen meisterhaft verzierten Fenstern ist in drei Etagen gegliedert. Folgende Räumlichkeiten sind von besonderem Interesse: die Empfangshalle mit ihrem /monumentalen Saal, die Kapelle mit ihren Gemälden der Künstlerfamilie Artari und der Wappensaal, in dem rund um das Wappen des Hauses Savoyen auch die Wappen aller wichtigen Adelsfamilien aus dem Aostatal dargestellt sind.