Jean-Jacques Rousseau vécut au petit Mont-Louis de 1757 à 1762. Il fit réaménager son jardin en 1759 lors des travaux de sa maison : il y fait planter des plates bandes de fleurs, du lilas, du seringa tout autour d’une table de pierre et de bancs afin de se constituer « un cabinet de verdure » : « Je m’amusai quand j’y fus à orner la terrasse qu’ombrageaient déjà deux rangs de jeunes tilleuls, j’y en fis ajouter deux pour faire un cabinet de verdure ; j’y fis poser une table et des bancs de pierre ; je l’entourai de lilas, de seringa, de chèvrefeuille, j’y fis faire une belle platebande de fleurs parallèle aux deux rang d’arbres ; et cette terrasse... me servait de salle de compagnie » (Les Confessions, livre X, p. 527).
Au fond du jardin, Jean-Jacques Rousseau utilise une petite bâtisse qu’il appelle « le Donjon » afin de rédiger ses textes majeurs  : La Nouvelle Héloïse, la Lettre à d’Alembert sur les spectacles, Emile ou de l’éducation, Du Contrat social  :« ...j’allais tous les jours passer deux heures le matin et autant l’après-dinée dans un Donjon tout ouvert que j’avais au bout du jardin ou était mon habitation. Ce Donjon, qui terminait une allée en terrasse, donnait sur la vallée et l’étang de Montmorency » (Les Confessions, livre X, p.495).