Le château de Cancon est construit sur une colline, « pech », lieu stratégique, qui permettait le contrôle de la route entre Agen et Périgueux. Le site paraît avoir été occupé dès le XIe siècle. Le Lot-et-Garonne, de par sa situation géographique entre Toulouse et Bordeaux, subit les conflits franco-anglais aux XIVe et XVe siècles. Un château en position stratégique et une ville fortifiée sont autant d'atouts politiques et militaires. Au XVe siècle, entre 1440 et 1492, les comtes d'Armagnac et de Caumont se disputent le lieu, puis il passe successivement entre les mains des Verdun à qui l'on doit la tour circulaire située à l'ouest, et des Montferrand en 1 535. L'enceinte dessine alors un rectangle de 100 mètres sur 80 mètres environ. Elle est construite en pierre de taille de moyen appareil. De cet ensemble fortifié, mis à part les remparts, il ne reste réellement qu'une tour, sans doute un donjon. Celui-ci comporte une salle basse voûtée en berceau, à laquelle on accède par une trappe. En 1738, le domaine devient la propriété du prince de Pons, Louis de Lorraine, qui décide en 1739 de vendre pour leur démolition le château et ses dépendances à un négociant de Casseneuil, Étienne Villeneuve, pour 2400 livres. La démolition s'est achevée après la Révolution. Les pierres servent à la construction de maisons dans le village de Cancon et à remblayer la rue principale de la ville. Le dernier propriétaire, le docteur Cabrolier, a fait don des ruines à la ville de Cancon au XXe siècle. (
https://www.ladepeche.fr/article/2016/08/26/2406910-cancon-l-histoire-de-places-en-chateaux.html )
Le lieu offre un magnifique panorama. C’est une plaine agricole fertile qui s’offre au visiteur, avec des vergers de pruniers, de noisetiers, des lacs collinaires et d’autres villages perchés au loin.