A l’origine, les chartreuses étaient des maisons de maître, bâtie entre 1650 et 1850 environ, à simple rez-de-chaussée, fortement barlongue, ce qui est sa caractéristique essentielle, comportant des éléments architecturaux extérieurs et une finition intérieure tranchant sur l’ordinaire et manifestant un certain art de vivre.
La Chartreuse de Conty fut bâtie sur une maison plus ancienne, dans la deuxième moitié du XVIIIe siècle, par Xavier Lescure qui y mourut en 1822. Des trois fils de Xavier Lescure, Jean (1779-1851) reprit Conty et fût maire de Saint-Germain de 1823 à 1836, le second Pierre Marie-Joseph, prêtre et curé de Saint-Germain, mourut vers 1793, après avoir été persécuté comme prêtre insermenté et le dernier, Jean Etienne fût incorporé dans les gardes d’honneur de la Dordogne. Le fils de Jean Etienne et de Sabine Delpeyrat, appelé également Xavier Lescure (1819-1978), précepteur au Coux et Maire de Saint-Germain sous le second Empire, épousa Christine Pauline Monzie de Lasserre et laissa Conty à sa seconde fille Mme Montet, qui, après avoir tenté de reconstituer un petit vignoble après les ravages du phylloxera, vendit Conty peut après la guerre de 1914, car elle n’avait pas d’enfant et restait la dernière Lescure.
C’est à Conty qu’Henri Monzie de Lasserre, journaliste de renom sous le second empire, plus connu sous le patronyme d’Henri Lasserre et beau-frère de Xavier Lescure, écrivit, après la guérison miraculeuse d’une cécité, le livre « Notre Dame de Lourdes », plus fort tirage de tout le XIXe siècle, qui fut traduit en plus de dix langues, faisant d’Henri de Lasserre, grâce également à d’autres ouvrages, l’historien officiel de Lourdes.
Maurice Savary, grand père du propriétaire actuel de Conty, acheta la maison en 1927. La maison fût occupée en 1944, en son absence, par un maquis de francs-tireurs partisans espagnols. C’est dans le cellier de cette maison que fut notamment emprisonné le propriétaire du château de Monfort, M. Mercier, avant son exécution sous prétexte de collaboration.