Hautpoul est un des plus importants sites fortifiés de la Montagne Noire, composé du castrum qui domine la vallée de l’Arnette depuis plus de 1000 ans et de la colline portant l’église de Saint –Sauveur autour de laquelle se trouvait un habitat conséquent durant plusieurs siècles. Les entrées du castrum étaient gardées par cinq portes, des murailles l’entouraient consolidées par des tours carrées. Au centre, se trouvait une chapelle gothique dont on devine encore quelques éléments. Trois « châteaux » faisaient partie de l’ensemble, le « Château de La Sala » en bas avec ses rangées de pierres placées en opus spicatum (arêtes de poisson), typiques du Xe siècle, accompagné de deux logis de même type. Devant la porte du haut le « Fort de Rivière », sans doute du XVIe siècle, surveillait l’entrée. 

De la Tour, au sommet de la roca (rocher de la Vierge) il ne reste plus rien. Citadelle refuge des cathares après avoir été un haut lieu visité par les troubadours, elle subit les assauts des troupes de Simon de Montfort en avril 1212, fut remise en état, ruinée pendant la Guerre de Cent ans, se releva à la fin du XVe siècle, fut prise et reprise par les différentes armées des guerres civiles au XVIe siècle, avant d’être définitivement abattue par les troupes royales en 1629. Au XVIIIe siècle, des maisons d’habitation furent reconstruites et le village d’Hautpoul n’a pas cessé d’être habité depuis.

Sur un éperon rocheux, cet ancien village médiéval domine les gorges de l’Arnette et la ville de Mazamet. Ces parois rocheuses offrent autant d’anfractuosités propices à la nidification de nombreux oiseaux « rupestres », tels Faucon Pèlerin et Hibou Grand-duc régulièrement observés sur le site. Les chiroptères (chauve-souris) bénéficient de gîtes favorables pour la reproduction, l’hivernage et le transit, autant sur le patrimoine bâti du village que sur ces parois rocheuses