Le village de Labrespy s’est développé à l’époque médiévale autour d’une maison fortifiée qui surveillait un petit col, entre la vallée de l’Arnette à l’est et la vallée du Linoubre à l’ouest, et où se rejoignaient plusieurs voies de communication. Son nom tire son origine des aubépines que l’on plantait autour des prés et des champs en guise de clôture et parfois aussi autour des habitats dispersés pour les protéger. Le chemin le plus important était appelé « Chemin du Sel » car des caravanes d’ânes transportaient cette précieuse denrée à travers la Montagne Noire depuis les salines de l’abbaye de Caunes Minervois au sud jusque dans l’Albigeois vers le nord en passant par Hautpoul. 

Labrespy domine la petite vallée du Linoubre dont l’eau faisait tourner les roues des moulins. Sur les champs humides de ses rives on cultivait du lin, d’où son nom. Le lin ainsi que la laine des moutons élevés sur les landes des hauts plateaux étaient ensuite tissés par les habitants de Labrespy et des hameaux environnants. Au XVIe siècle, il y avait une quinzaine de maisons et une métairie. Au début du XXe siècle, deux usines de délainage remplacèrent les moulins. Il y avait alors au village plusieurs artisans, un café, un marchand de vin et de charbon, une boulangerie et une épicerie. Aujourd’hui Labrespy et les hameaux environnants sont devenus un quartier de la périphérie de Mazamet.