Les premières traces de peuplement de Layrac remontent au Magdalénien. On a retrouvé dans sa plaine des traces d'occupation pour les âges du Bronze et du Fer. À l'époque gallo-romaine, plusieurs villae sont attestées sur le territoire de la commune. L'une d'entre elles, après abandon et invasions donnera naissance au premier bourg médiéval situé sur un promontoire dominant le Gers. Une autre permettra la naissance du hameau d'Amans, qui évoluera de la même façon et où l'on peut voir les ruines de l'église romane Sainte-Marie. Le bourg de Goulens, lui sera fondé par les colons Wisigoths.
Un monastère fondé par Hunald, vicomte de Brulhois, en 1071 a permis ensuite au village de Layrac de se développer. Elle fut une cité importante pendant la période du Moyen Âge grâce à sa batellerie installée sur les fleuves du Gers et de la Garonne. Elle se dote d'une charte de Coutumes en 1273.
Des hôtes célèbres l'ont traversé, comme le pape Urbain II, qui se rendit à Layrac le 7 mai 1096 au retour de Clermont où il venait de prêcher la croisade. Il consacra le chœur de l'église St Martin, dont les travaux d'édification par les Bénédictins avaient commencé en 1075. Une mosaïque romane de l'église représente des motifs floraux et un épisode de l'Ancien Testament, Samson terrassant le lion.
La reine de Navarre, Jeanne d'Albret, passa à Layrac le 15 janvier 1572 en se rendant à Paris pour le mariage de son fils Henri. Henri IV vint le 16 août 1576, car Layrac était une place forte du protestantisme en Agenais. Sur ordre du roi Louis XIII, ses fortifications furent détruites en septembre 1621 par les troupes du maréchal de Roquelaure.