Здание было построено в конце XVII века сподвижником Петра I князем Б. А. Голицыным, как усадебный дом (дворец), куда неоднократно приезжал Петр I. В конце XVIII века, после постройки нового усадебного дома, здание было перестроено князем Н. М. Голицыным под конный двор. Ранее на этом месте располагался деревянный дворец царя Бориса Годунова, который был сожжен во время Смутного времени. После Октябрьской революции здание было полностью перестроено, утратив свой первоначальный вид. В течение второй половины XX века в нем располагались жилые корпуса. Масштабная реставрация Конного двора проведена с 2005—2015 гг., зданию был возвращен исторический облик. В настоящее время в здании расположен «Музей Бориса Годунова и петровского времени».