Le château primitif a été construit au XIIIème siècle. Au XIVème siècle, il est donné à Bertrand de Goth, seigneur de Monteux et neveu du pape Clément V par le roi d'Angleterre qui souhaite en faire un de ses fidèles. La famille de Goth est une des plus puissantes de Guyenne du XIIIème au XIVème siècle. A sa mort et celle de sa fille Régine, il va s'ensuivre une période de contestations d'héritage. En 1336, le château est la propriété d'un neveu, Bernard de Lamotte.
Au XVème siècle, le château devient la propriété de la famille Ricard, puis celle de la famille des Cars, ensuite de la famille de Sansac venue s'installer à Allemans en 1654, qui l'a conservé jusqu'à la Révolution. Ruiné durant cette période, le château fut démoli à cause de son état de dégradation. Il se situait à l'est de l'édifice actuel.
Seule l'aile ouest fut épargnée. Cette aile a dû être construite au XVIème ou au début du XVIIème siècle. Des remaniements lui donnèrent un caractère plus monumental, avec deux pavillons situés de part et d'autre d'un corps central. Des fenêtres à meneaux et une porte à linteau subsistent, témoignant de l'ancien édifice.
Visible dans le parc du château, l'une des tours qui étaient autrefois accrochées à chaque angle de l'édifice primitif, subsiste. Cette tour est ronde à la base, et octogonale à sa partie supérieure, donnant naissance à une coupole nervurée sur sept quartiers.
Les vestiges de la tour subsistante ont été inscrits au titre des Monuments Historiques par arrêté du 4 mai 1984.
Propriété d'une personne privée (visible seulement depuis l'extérieur).
Sources :
[->http://www2.culture.gouv.fr/public/mistral/merimee_fr?ACTION=CHERCHER&FIELD_1=REF&VALUE_1=PA00084064]
[->http://allemansdudropt.com/index.php/le-patrimoine/]