Au XI° et XII° siècle, l'abbaye de Caunes ne peut plus entretenir la garnison et demande l'inféodation aux seigneurs de Carcassonne qui non seulement entretiennent la garnison mais fortifient le village et le château. La surface du château est alors partagée en deux, une partie couverte et habitable pour une garnison d'une dizaine de personnes et une cour ou se trouve la citerne et la margelle dégagée et mise en valeur par une équipe de Concordia** en 1969
Le donjon, selon certains historiens, daterait de la fin du XIII° siècle, période ou l'abbaye de Caunes reprend l'entretien du site. Au nord du donjon se trouve le roc des lices où l'on élisait les jours de l'ascension les trois Consuls de la ville.
Au XVI° siècle l'abbaye ne peut plus assumer l'entretien de la garnison et le château reste vide.Il devient alors le repère d'une bande armée de mercenaires des guerres de religions dirigée par le capitaine Bacou (Bacon en occitan). Les seigneurs du pays se plaignent des pillages, le tribunal de Carcassonne demande le démantèlement du château. Plus facile à dire qu'à faire! le château reste en place et après négociations, on payera Bacou pour qu'il parte. En 1581, il ira s'installer à Minerves où il sera payé aussi pour partir. Le voyage de Bacou et de sa troupe (500 hommes!) se terminera à Bram où ils furent tous passés au fil de l'épée.
En 1629 le château est à nouveau occupé par une garnison de M. de la Grave.
En 1747 le château, vide, tombe en vétusté. Les toits de l'habitation s'effondrent, les pierres sont utilisées par les habitants qui démantèlent complètement la muraille nord.
