König Friedrich Wilhelm II. ließ das Marmorpalais 1787–93 als Sommerresidenz errichten und mit schlesischem Marmor verkleiden. Es wurde innerhalb drei Jahren im strengen frühklassizistischen Stil erbaut und 1793 fertig gestellt. Die architektonische Planung des Schlosses wurde 1787 erstmals von Carl von Gontard und später von Carl Gotthard Langhans übernommen, der auch das berühmte Brandenburger Tor in Berlin plante.

Nach dem Tod Friedrich Wilhelm II. diente das Schloss mehrmals als Residenzschloss für Mitglieder des Hauses Hohenzollern. Bis heute blieb der ursprüngliche Charakter des Interieurs erhalten.

1945 fiel das Palais mit dem Park und dem angrenzenden Villenviertel "Verbotene Stadt" unter sowjetische Verwaltung. 1961 übernahm die DDR das Marmorpalais und baute es in ein Armeemuseum um. Zu dieser Zeit war es von Kanonen, einem Flugzeug, einem Schnellboot und anderen Kriegsgeräten umgeben. 1972 zog das Armeemuseum nach Dresden.

Heute ist das Schloss neben dem Schloss Cecilienhof die Hauptattraktion im Neuen Garten. Seine Silhouette spiegelt sich im Heiligen See. Von der Terrasse des Marmorpalais hat man einen herrlichen Blick auf die Herrenhäuser auf der anderen Seite des Sees.