Ce promontoire se situant au milieu de la vallée du Tarn a tout de suite été repéré par les Romains pour surveiller la vallée. C’est donc un castrum érigé avec une petite garnison et des fortifications en bois.
 
C’est au XIème siècle que le castrum se modifie pour devenir un château fort d’une importance certaine permettant au seigneur de Montaigut de protéger ses paysans et autres corps de métier.

 
Une vie importante s’organise puisque l’on constate jusqu’à 650 personnes sur le site avec des habitations tout autour du château.