Es wird vermutet, dass der Garten in der ersten Hälfte des 18. Jahrhundert durch den Architekten Daniel Marot (1661-1752) im modernen französischen Stil gestaltet wurde. Als Hugenotte floh Marot in die Niederlande und lebte von 1715 bis 1747 ganz in der Nähe des Geelvinck Hinlopen Huis.

Marot entwarf u.a. für die reichen Amsterdamer Kaufleute Häuser, Interieurs und Gärten sowie auch das Sommerhaus von Nicolaes Geelvinck in Velsen und wirkte auch beim Palais Het Loo mit.

Um 1760 kam die Familie Geelvinck in den Besitz der Nachbargärten und ergänzte die Anlage um einen romantischen Landschaftsgarten im englischen Stil, in dem 1833 auch eine kleine Menagerie, hauptsächlich für exotische Vögel, errichtet wurde.

Um 1920 verlor der Garten seine Verbindung mit der ehemaligen Remise, konnte sich aber andererseits bis zu den Häusern an der Herengracht ausdehnen.

Der große Sturm im Februar 1953, der große Teile der Provinz Seeland überflutete, zerstörte auch viele Gärten in Amsterdam. Die alte Rotbuche im Nachbargarten ist jedoch erhalten geblieben und inzwischen ein Naturdenkmal und ein Relikt des ehemaligen Landschaftsgartens.

In den 1980er Jahren, mit dem Umbau der Herengracht Nr. 520 in ein modernes Bürogebäude, wurde auch der mittlere Teil des Landschaftsgartens im Stil von Mien Ruys umgestaltet. Dies führte dazu, dass die angrenzenden Gärten abgeschnitten wurden und verwilderten.