Le château fut édifié au XVIe siècle et supposé être à l’origine d’une des résidences d’été des évêques du diocèse de Rieux.
Il fut construit sur l’enclos de la bastide de Longages.
Au XVIIIe siècle, les DURAND DE GESTES, seigneurs de Lavernose, en ont la propriété.
Jeanne Françoise DE GESTES, héritière du château, le fait passer aux DUFOUR DE RIBONNET par son mariage en 1740.
Un souterrain le relierait, d’après la légende, au château du Prieuré et à celui de Sainte-Marie.
Les DE GESTES sont inhumés dans l’église Saint-André.
Il fut démantelé au XIXe siècle et il ne demeure aujourd’hui qu’une faible partie de l’édifice, maison particulière de la face Est de la bâtisse primitive.
