Le jardin est situé sur l’ancien jardin de l’infirmerie de l’abbaye de Saint-Germain-des-Prés. Il est traversé par un muret qui scinde le jardin originel en deux. L’appartement de Delacroix surplombe le jardin. Un atelier est construit dans le jardin, relié à l'appartement par un escalier. Ce lieu se voulait être un espace permettant à Delacroix de s’aérer et de se dégourdir les jambes, sans avoir à sortir dans le quartier de Saint-Germain-des-Prés. Le jardin se compose actuellement d’une partie fleurie, au pied de l’atelier, et d’une partie plus boisée.

Des travaux sont entrepris à l’automne 1857 afin de préparer la venue d’Eugène Delacroix. Ils sont confiés à Adolphe Cabot, entrepreneur de monuments funèbres et responsable notamment de l’entretien de la tombe de la mère de Delacroix.

Delacroix décède en 1863 dans son appartement. Le lieu devient en 1932 un musée, ouvert au public.

Le jardin fait peau neuve en 1999 sous la direction de Jacqueline Osty, qui choisit de s’inspirer des écrits épistolaires de Delacroix plutôt que de proposer une simple reconstitution.

De nouveaux travaux sont entrepris en 2012-2013 par Pierre Bonnaure et Sébastien Ciret, avec la volonté de déminéraliser le lieu afin de retrouver un jardin plus en accord avec les goûts de Delacroix.