Тем не менее, Иван IV не единственный великий правитель, который бывал в этих стенах. Так, в походном журнале Петра I отмечено, что император гостил здесь в 1723 году у именитого дипломата и вице-канцлера П.П. Шафирова. Началась чехарда с владельцами: следующим жителем шикарного дворца после дипломата стал П.А. Толстой — руководитель секретной службы Петра, тайный советник и предок того самого Льва Николаевича. Однако же при Петре II граф потерял свое положение: его отправили в ссылку в Соловецкий монастырь, а палаты изъяли. Меньше чем на год здесь поселился Алексей Волков, сподвижник Меншикова.
Потом палаты перешли князю Юсупову-Княжеву и принадлежали этому роду
в совокупности 190 лет вплоть до Октябрьской революции. Кстати, именно здесь
в съемной квартире жил юный Пушкин со своим отцом. В саду Юсуповского дворца, как утверждается, будущий поэт увидел голландского механического кота на цепи, который, вероятно, и стал прототипом «ученого кота» из поэмы «Руслан и Людмила»,
а в романе «Евгений Онегин» писатель поселил тетку Татьяны Лариной именно
«у Харитонья в переулке».
Палаты Волковых-Юсуповых состоят из нескольких зданий. К сеням восточных палат вело Красное крыльцо, над входом располагалась икона с изображением Бориса и Глеба — первых русских святых. К западному крылу дворца примыкали хозяйственные постройки. В XVIII веке на территории была построена Столовая палата, при Юсуповых — оранжерея, Юсуповский театр, высажен фруктовый сад. До наших дней дошли фигурные печи и удивительный расписанный камин XVII века.
В конце XIX века архитектор Султанов проведет реконструкцию здания: западную часть палат расширят, надстроят третий этаж, преобразуют фасады и внутренние помещения. Чуть позже отремонтируют и восточную часть палат — восстановят декоративные украшения, в окна поставят стекла с рисунками.
В 1895 году возведут каменную ограду с воротами, а к зданию дворца пристроят новое парадное крыльцо.
В XX веке с приходом большевиков палаты Волковых-Юсуповых национализировали. Сначала здесь располагался музея Дворянского быта, потом — Музей Чехова. В 1924 году под одной из лестниц нашли тайник с фамильными драгоценностями Юсуповых. Помимо золота и серебра
в тайнике нашли скрипку — одну
из последних инструментов работы
знаменитого Страдивари.