La paroisse, qui fut jusqu'au XVI ème siècle un quartier de Toulenne, a donné son nom à l'une des plus puissantes familles de Guyenne. Les seigneurs de Fargues sont connus dès le XIIIème siècle, un acte de reconnaissance de 1274 mentionnant le château de Fargues.
La famille de Fargues bénéficia largement de l'avènement du pontificat de Clément V, son proche parent Raymond-Guilhem de Fargues devint Cardinal en 1306, Bernard de Fargues évêque d'Agen
puis archevêque de Rouen (1306-1311) et enfin de Narbonne (1311-1341). Amanieu de Fargues fut nommé évêque de Bazas en 1314 et Béraud de Fargues, évêque d'Albi la même année...
... Au début du XIVème siècle, le fief était comme Roquetaillade, aux mains de plusieurs seigneurs. Le Cardinal Raymond-Guilhem, neveu du Pape Clément V, fit construire à côté de deux forteresses plus anciennes, un nouveau château homogène.
Ce château, remanié au début du XVIIème siècle, fut abandonné à la suite de l'incendie de 1687. Il se présentait à l'origine comme un édifice rectangulaire
de 40x28 mètres. Des bâtiments dont il ne subsiste que le rez-de-chaussée, entouraient les trois côtés d'une cour de 24x15 mètres. Il apparaît comme un palais fortifié et non comme une
citadelle capable d'une longue défense. Son rôle militaire du XIV ème au XVII ème siècle semble d'ailleurs avoir été nul.