Fast zeitgleich zu den Baumaßnahmen am Karlsberg, dem Herkulesbauwerk und den Kaskaden, schuf Landgraf Karl (reg. 1670/77–1730) in unmittelbarer Nähe zum alten Residenzschloss eine weitere, bedeutende gartenkünstlerische Anlage. In der Fuldaaue ersetzte er zwischen 1701 und 1710 ein kleines von Wilhelm IV. (reg. 1567–1592) errichtetes Lusthaus durch den Bau eines größeren Orangerieschlosses. Im Mittelbau war der sogenannte Apollosaal untergebracht, in den beiden langgestreckten Verbindungsgalerien überwinterten zahlreiche Orangen- und Lorbeerbäume. Auch diese Pflanzensammlung erlaubte die im Barock beliebte Gleichsetzung ihres Besitzers mit dem tugendhaften Held Herkules, denn die goldenen Äpfel, die Herkules aus dem Garten der Hesperiden holen muss, galten als Früchte einer Zitruspflanze. Die beiden Eckpavillons nutzte das Landgrafenpaar als Sommersitz. Von fünf weiteren Pavillonbauten, die in dieser Achse geplant waren, konnte zu Karls Lebzeiten nur das Marmorbad als kleiner Zentralbau an der nördlichen Seite errichtet werden. Mit seiner prachtvollen Innenausstattung von Pierre Etienne Monnot (1657–1733) war es ein reines Schauobjekt und Bestandteil der fürstlichen Repräsentation. Der gegenüberliegende Küchenpavillon wurde erst 1770 vollendet. Teilweise schon lange vor dem Bau der Orangerie, deren Architekt nicht mehr eindeutig bestimmbar ist, entstand ein darauf ausgerichteter achsensymmetrischer Garten im französischen Stil. Als typisch barockes Gestaltungselement beherrscht ein aus drei schnurgeraden Alleen bestehender Dreistrahl die Gartenanlage. Ab dem Ende des 18. Jahrhunderts begann unter Wilhelm IX. mit der Beseitigung einzelner barocker Elemente die Umgestaltung in einen Landschaftsgarten, den Landgraf Friedrich II. (reg. 1760–1785) schließlich einer breiteren Öffentlichkeit zugänglich machte.
