La famille Gineste de Saurs est établie à Saurs depuis le XVIème siècle, où elle cultive essentiellement la vigne. De 1848 à 1852 Eliezer Gineste de Saurs, l’arrière grand-père, construit le Château.

Il était avocat réputé au barreau de Toulouse, apparenté à la famille Amilhau qui donna de nombreux personnages illustres – hommes de loi, hommes de robe – à la vie publique de Toulouse et de sa région.