Le centre du village s'est construit à partir du XIXe siècle et s'est implanté sur un plateau assez étroit délimité par les ruisseaux de Saint-Martin et de la Masse tout comme Lusignan-Petit.
La commune de Madaillan se compose de plusieurs anciennes paroisses rurales, mais celles-ci n'ont pas constitué de pôle de peuplement à long terme ; tout comme le château n'a pas contribué à fixer un habitat villageois. Hormis quelques hameaux, il n'existe aucun habitat aggloméré sur le territoire communal. Un choix a été fait afin d'établir le chef-lieu de la commune, avec la construction de l'école et de la mairie sur le plateau de Fraysse, près de l'église principal, à la fin du XIXe siècle. La section de Lavedan a été détachée de la commune de Madaillan par la loi du 9 avril 1841 et a été réunie à la commune de Laugnac. Le site du château de Madaillan et de ses abords a été inscrit au patrimoine le 11 novembre 1942.