Au XIIIème siècle, Pierre des Vaux de Cernay relatait, dans son Histoire des Albigeois, que Simon de Montfort , près de Pamiers, arriva (en 1211) avec ses hommes près d’un fort voisin de cette ville. Il le trouva disposé à se défendre avec, dans ses murs, six chevaliers du comte de Foix Raimond-Roger (Raimond-Roger Comte de Foix, 1188-1223, était un ancêtre de la famille de Tyssandier d’Escous par la famille de Foix-Rabat).  Simon de Montfort et ses hommes ne purent prendre le fort près de Pamiers le jour même, mais le lendemain de bon matin l’assaut fut donné. Le fort fut enlevé de force, trois chevaliers du comte de Foix, malgré leur vaillance, furent tués et les trois autres faits prisonniers pour servir d’échange avec des prisonniers détenus par le comte de Foix Raimond-Roger. Le fort près de Pamiers fut détruit… Les matériaux furent réutilisés quelques années plus tard pour une nouvelle construction.

A la fin des Guerres de Religion le Fort appartenait à la famille de Cassaignard de Montegut, ancienne famille du pays de Varilhes. Le Fort en a longtemps conservé des traces, comme les grilles de la porte d’entrée représentant des feuilles de marronnier  (pour des feuilles de châtaignier symbolisant le nom de la famille de Cassaignard).

Le Fort appartenait au début du XIXème siècle à la famille de Serres de Pontaut, ancienne et noble famille de Pamiers dont les membres se faisaient enterrer au couvent des pères jacobins de cette ville.

En 1789 plusieurs membres de la famille de Serres de Pontaut furent convoqués et assistèrent à l’assemblée de la noblesse tenue à Pamiers.

En 1857, le Fort appartenait à Monsieur Paul Bernard Anatole de Serres de Pontaut qui le céda à Monseigneur Jean François Augustin Galtier, Evêque du diocèse de Pamiers, pour le compte du Petit Séminaire. Le 2 décembre 1857 un acte notarié fut dressé concernant la vente d’une partie du domaine du Fort situé sur la commune de Pamiers comportant 6 ha 64 a 60 ca de terrain, les bâtiments de la propriété, ainsi qu’une allée de douze mètres de largeur allant jusqu’au ruisseau du Crieu (il y avait alors dans la cour du Fort une large entrée, pour les calèches et les charrettes, qui donnait sur l’allée. Après 1857 cette entrée fut en partie murée). Deux géomètres intervinrent dans la vente.

Des démarches furent nécessaires pour obtenir la validation de la vente par le gouvernement. Monseigneur Galtier décéda entre temps. Napoléon III, Empereur des Français, prit un décret approuvant l’acquisition faite suivant acte public du 2 décembre 1857 par feu Monseigneur Galtier, Evêque de Pamiers, au nom de l’Ecole Secondaire Ecclésiastique de Pamiers, moyennant le prix de dix-huit mille francs, payables en cinq années, de la propriété située lieu-dit le Fort à Pamiers. Ce décret fait au Palais des Tuileries le 7 décembre 1859 était signé Napoléon.