La construction du château fut entreprise en 1743 par le Marquis de Chalvet, sénéchal de Toulouse et du pays d’albigeois. En véritable homme des Lumières, le sénéchal tint à dicter lui-même à l’architecte toulousain Maduron les plans de la maison et du parc. Les pierres de l’ancien château ayant servi à construire les soubassements, près de trois cent mille briques furent nécessaires pour édifier Merville et le sénéchal créa une briqueterie spécialement à cet effet.
Le bâtiment présente un plan en U dont l’axe de symétrie est souligné par un avant-corps à pans coupés de trois travées. Cet avant-corps est couronné d’un fronton triangulaire percé d’un oculus. Maduron signa l’expertise de fin de travaux le 5 mars 1759. Les travaux avaient ainsi duré un peu plus de quinze ans.
Si à la révolution, de nombreuses demeures furent vidées de leur décor, Merville eut la chance de conserver son ameublement, son décor et son jardin. La petite-fille d’André-Antoine de Chalvet fit entrer Merville dans la famille Villèle en épousant le fils du célèbre ministre de Louis XVIII, puis la maison passa par héritage au marquis de Beaumont du Repaire dont descendent les actuels propriétaires.
Le Marquis de Chalvet dessina lui-même au XVIIIe siècle le jardin de buis et le parc paysagé. Il est aujourd’hui ouvert au publique grâce à un important programme de restauration entrepris depuis quelque années par les propriétaires et habitants du château : les descendants directs du Marquis de Chalvet.