C’est entre 1473 et 1495 que fut construit cet édifice.
Pendant les guerres de religion est occupée par les protestants. Le 13 juillet 1580, la ville est prise par l'armée royale commandée par le maréchal de Gontaud. Elle est mise à sac sauf la maison de Cancon (château actuel). Le château sera la seule maison épargnée par ce pillage et l’incendie du village parce qu'il appartient alors à un noble catholique : Jean de Montferrand, baron de Cancon, héritier des Verdun. Le lendemain le château sera occupé par les soldats catholiques. La population est massacrée.
Pendant les troubles de la Fronde, le 4 décembre 1652, Gontaud sera à nouveau assiégé et pillé par deux régiments de cavalerie et d’infanterie du marquis de Biron. Là encore, le château du seigneur de Montferrand sera épargné par l’armée de Condé mais pour payer cette grâce le comptable de la communauté devra donner aux assiégeants 20 boisseaux d’avoine et neuf d’orge.
Après les Montferrand, c’est la famille Luppe d’Arblade qui a possédé le château en 1661 puis Timothée de Bacalan en 1694 qui y fait effectuer les premières réparations connues, puis messire Jean Pellet.
Le 2 octobre 1793, les biens de la famille Pellet seront saisis et le château de Gontaud est adjugé aux enchères publiques à la citoyenne Marguerite Degalz, veuve Martineau. Le château est resté la propriété de la famille Martineau jusqu’au 6 mai 1914, date à laquelle il est vendu à monsieur Armand de Gontaut-Biron, marquis de Gontaud et de Saint-Blancard.
Mais le château manque alors cruellement d’entretien et le 5 janvier 1949 la petite tour du côté nord s’écroule sur la rue, entraînant avec elle la moitié nord du corps de logis.
À partir de 1955 de nombreux propriétaires se sont succédé sans engager de grands travaux. Un travail de restauration des parties existantes a été entrepris depuis 1997 par de nouveaux propriétaires qui ont confié la restauration à Denis Boullanger, architecte du patrimoine. Depuis mi-2007, grâce à la passion de ses propriétaires, la moitié du corps de logis, écroulée en 1949, a été reconstruite par des entreprises locales. (source :
https://fr.wikipedia.org/wiki/Ch%C3%A2teau_de_Gontaud-de-Nogaret )