Le château de Cahuzac fut édifié à partir du XIIIe siècle par la famille de Caumont, et fut probablement précédé par une fortification en bois. Transmis par mariage à la famille d’Estissac au début du XVIe siècle, puis à la famille de La Rochefoucauld au XVIIe siècle, il fut vendu au début du XIXe siècle à la famille de Bony, acquis ensuite par la famille de Carbonnier, puis par la famille de Montbron. Le château est propriété de la famille Delpit depuis 1925.
La fortification était destinée à protéger la vallée du Dropt, voie d’invasion ; le château se retrouva engagé dans les conflits de la guerre de Cent Ans (dans le camp anglais) puis dans les guerres de religion du côté des protestants ; pendant ces périodes, il abrita près de 150 hommes d’armes !
À travers les siècles, des personnages illustres fréquentèrent le château : Rabelais, Henri de Navarre, le duc de La Rochefoucauld…
Le château se situe à la pointe ouest du village actuel de Cahuzac, sur un éperon rocheux dominant la vallée du Dropt. Le village était situé près du cimetière autour de son église, démolie au XVIIIe siècle. La plupart des maisons du « vieux Cahuzac » furent édifiées sur les ruines d’une partie du château dans les années 1660/1680 (quelques maisons portent au-dessus de la porte d’entrée la date de leur construction)