La Torre dei Balivi (o Tour du Baillage), situata in via Guido Rey, all’angolo nord-orientale della cinta muraria romana, fu costruita nel Medioevo sulle strutture della preesistente torre romana.
Nel 1263 Guglielmo De Palatio vendette la torre al Conte Pietro II di Savoia che, a decorrere dal 1430, la destinò a residenza dei Balivi, gli amministratori della città, nonché a carcere. In seguito, a partire dal 1626, i Balivi preferirono trasferirsi in un edificio più idoneo (Palazzo Roncas) e il complesso, rimaneggiato, mantenne unicamente la funzione di prigione, che conservò fino al 1984.

Attualmente l’edificio ospita i locali della scuola musicale Conservatoire de la Vallée d’Aoste.