A la fin du XVIIe siècle, Louis de Carel obtint de la communauté des Religieuses Emmurées de Rouen, que lui soit donné un terrain sablonneux sur lequel il désire établir sa propriété. En 1691, il fait entourer le terrain de murs, dessine un jardin et invite le public à s’y promener. La même année, il fait construire le pavillon double qui subsiste de nos jours.
Le 13 décembre 1832, la ville de Rouen, autorisée par ordonnance royale, fit l’acquisition du domaine de Trianon, dans le but d’y transférer son jardin botanique. Après diverses études, les plans et devis rédigés par Désiré Lejeune étaient acceptés le 15 juin 1836 et les travaux d’aménagement confiés à Guillaume Dubreuil. Ils durèrent plusieurs années, mais dès 1840, le parc prit le nom de jardin des plantes, en référence à celui de Paris, et il fut ouvert au public.
Déjà les collections atteignent plus de 6000 espèces et le jardin contribue au développement des sciences, à la préparation des étudiants en médecine et à la diffusion des espèces, grâce aux échanges de graines. Le jardin s’agrandit de plus d’un hectare vers la fin du XIXe siècle et voit ses infrastructures se compléter (serres tropicales, 1936-1938).