На месте где располагается Мраморный дворец находился Питейный двор, в 1714 году перестроенный в Почтовый двор с пристанью для двух "почтовых фрегатов", совершавших регулярные рейсы между Петербургом и Москвой. Почтовый двор представлял из себя небольшое мазанковое здание. В 1715-1716 годах он стал деревянным и двухэтажным. На втором этаже расположился зал, где Пётр I устраивал ассамблеи и другие торжественные мероприятия. При Почтовом дворе работала гостиница, постояльцы которой при любой погоде выселялись при прибытии сюда царя. Кроме охраны и служителей здесь служили почтмейстер, секретарь, переводчик и три почтальона.
Набережную у Почтового двора назвали Почтовой, сейчас это Дворцовая набережная. В 1730 году Почтовый двор перевели к Исаакиевской церкви, здание и пристань уничтожили. На их месте в 1732 году построили Манеж. Пожар 1737 года уничтожил эту постройку. Освободившееся место расчистили, и назвали Верхней Набережной площадью. Она примыкала к Царицыну лугу.
Мраморный дворец, 1847 год
В 1768-1785 годах здесь по проекту Антонио Ринальди строится Мраморный дворец, который Екатерина II подарила своему фавориту Григорию Орлову. Подарок был сделан за активное участие Орлова в событиях 1762 года, в результате которых императрица оказалась на русском престоле. Ответным жестом графа стал подарок - огромный бриллиант массой в 189,62 карата, названный "Орлов".
По одной из легенд императрица сама сделала набросок будущего здания и показала его архитектору. Зная, что проект составила Екатерина, Ринальди высоко оценил эту работу и тут же получил разрешение на строительство. Здание заложено 10 октября 1769 года, в его фундамент был замурован мраморный ящик с монетами. Строительными работами руководил полковник артиллерии М. И. Мордвинов. Архитектурный надзор осуществлял Пётр Егоров. На строительстве Мраморного дворца ежедневно трудились около 100 каменщиков и от 100 до 300 артиллерийских фузилеров. Екатерина II периодически посещала строительную площадку и лично награждала особо отличившихся работников.
Огромные плиты мрамора и гранита доставляли по Неве. Их сюда начали завозить уже в 1768 году. Кирпичные своды и стены построили в 1769 году, после чего началась первичная обработка природного камня. Эта работа осуществлялась в 1770-1774 годах. В 1774 году приступили к отделке фасадов Мраморного дворца мрамором и гранитом, к отделке внутренних помещений.
Мраморный дворец, 1840-1850-е года
Нижнюю часть фасада Мраморного дворца облицовали гранитом, а вместо штукатурки по предложению архитектора для облицовки стен было решено использовать 32 сорта мрамора. Отсюда и его название - "Мраморный дворец". Белый мрамор привозили из Италии, это оказалось дешевле чем везти его с Алтая или Урала. Остальной же облицовочный материал добывали в карьерах близ Ладожского и Онежского озёр. Мрамор использовали и при оформлении десяти внутренних залов здания. Мраморный дворец стал первым петербургским зданием, облицованным природным камнем.
В 1780-1788 годах в восточной части участка построили служебный корпус. Перед его постройкой засыпали Красный канал, соединявший Неву и Мойку. Между зданиями установили решётку работы П. Е. Егорова, напоминающую ограду Летнего сада.
С 1780 года велась отделка двух верхних этажей. Все работы завершили к 1785 году. Над входом в Мраморный дворец была помещена надпись "ЗДАНИЕ БЛАГОДАРНОСТИ". Выше, на аттике, установили башенку с часами. По сторонам от башни установили две фигуры работы скульптора Ф. И. Шубина - Верность (справа) и Щедрость (слева). Всего во дворце находилось около 40 работ этого мастера.
Для кровли в Сестрорецке изготовили медные листы. Их подгонка и пайка была проведена так тщательно, что крыша не знала протечек вплоть до ремонта 1931 года.
Миллионная ул., 5/1 (Мраморный дворец)
Парадная лестница Мраморного дворца была украшена статуями Утро, День, Вечер и Ночь. На площадке от второго этажа до третьего - скульптуры, олицетворяющие осеннее и весеннее равноденствие.
На первом этаже находились кухни, котельные и церковь, освящённая во имя Введения в храм Пресвятой Богородицы. Служебные комнаты были оборудованы различными механизмами и приспособлениями. В корпусе по Миллионной улиценаходилась машина для подачи воды, колодец с двумя насосами для подачи воды в парадные бани второго этажа. В корпусе по Мраморному переулку - колодец с насосом для подачи воды в Садик. В Невском корпусе - бассейн для прочистки механизмов.
В северной части второго этажа Мраморного дворца располагалась Большая Невская анфилада. Сюда попадали с Парадной лестницы через Переднюю и Овальную проходную. Из Овальной проходной можно было попасть в Лаковый зал, или минуя Буфет и Большую столовую попасть в Мраморный зал - главное помещение дворца. В Мраморном зале находятся барельефы "Жертвоприношение", изготовленные для Исаакиевского собора А. Ринальди. За этим залом находился Орловский зал, прославляющий деятельность братьев Орловых. За ним - Екатерининский, прославлявший Екатерину II. С юга к Екатерининскому залу примыкали личные покои Григория Орлова: Парадная спальня, Садик с пятью яблонями, пятью вишнями и фонтаном. В юго-восточной части дворца располагалась Картинная галерея с 206 шедеврами живописи работы Рембрандта, Тициана, Рафаэля, Корреджо, Пуссена, Гроота, ван Дейка и других. В юго-западной части дворца - Греческая и Турецкая бани. В северо-западной части - запасные комнаты Малой Невской анфилады: Кабинет, Спальня, Будуар и Гостиная.