Situé dans le centre de Nus, il fut bâti par les Seigneurs de Nus au cours du XIIème et XIIIème siècle. Suite à un incendie, la structure fut abandonnée par ses propriétaires, qui lui préférèrent le Château de Nus, situé sur la colline.
Il doit son nom à la légende selon laquelle Pilate, partant s’exiler en Gaule après avoir été condamné par Jésus, s’y serait arrêté.
Aujourd’hui, les ruines restantes ont été restaurées et peuvent être visitées, grâce à une petite échelle qui permet de monter jusqu’au niveau supérieur des petites tours.