Главный усадебный дом был построен в 1784 году князем Н. М. Голицыным в стиле раннего французского классицизма. После посещения усадьбы императором Павлом I с сыновьями Александром и Константином в 1797 году, получил право именоваться Дворцом. В разное время гостями Дворца были А. С. Пушкин, Н. В. Гоголь, С. П. Шевырев, М. П. Погодин и др. Во время Отечественной войны 1812 года во дворце размещался главный штаб русской армии во главе с главнокомандующим князем М. И. Кутузовым, а после его отъезда во дворец прибыл император Франции Наполеон Бонапарт. После Октябрьской революции в здании дворца располагались многочисленные учреждения: Художественная школа для беспризорных детей, Санаторий ВЦИК, Институт коневодства, Эвакогоспиталь, Полиграфический институт, ВНИИФ, музыкальная школа. С 1994 года Дворец открыт для посещения.