La Tour des Balivi (ou Tour du Baillage), située dans la rue Guido Rey, au coin nord-est du mur d’enceinte romain, fut construite au Moyen Âge sur les restes de l’ancienne tour romaine.
En 1263, Guglielmo De Palatio céda la tour au Comte de Savoie qui en fit la résidence des Baillis, les administrateurs de la ville.
En 1537, les Baillis optèrent pour un bâtiment plus adéquat et la tour fut restructurée, avant d’être transformée en palais de justice.
Depuis 1702, elle recouvra le rôle de prison, qu’elle n’abandonna que dans une époque récente.

De nos jours l’édifice accueille l’école de musique Conservatoire de la Vallée d’Aoste.