Это здание носит в себе мрачную легенду. Ранее на этом месте находилась усадьба, которая провалилась под землю во времена Екатерины II, и все ее жильцы погибли. Посреди Полянки долго зияла яма, которую все никак не могли засыпать. Затем купчиха Елизавета Батурина продала землю купцу второй гильдии Василию Новикову, который построил на этом месте дом в псевдоготическом стиле. Однако, по легенде, архитектор Сергей Гончаров, родственник жены Пушкина и потомок дворян Гончаровых, столкнулся со множеством проблем при строительстве дома. Хозяин-золотопромышленник, заказавший строительство, предусмотрел огромные штрафы за срыв сроков, а сам старался мешать архитектору во всех возможных способах. В итоге, архитектор не справился с работой и повесился в этом самом доме.
Именно этот дом Новиковых стал прототипом «вычурно-красивого, угрюмо-пестрого дома» из произведения «Проклятый дом», написанного русским и советским писателем Викентием Вересаевым в 1945 году. Известно, что прототипом «вычурно-красивого, угрюмо-пестрого дома» был как раз особняк Новиковых.
По сюжету, при заключении договора с архитектором хозяин-золотопромышленник предусмотрел огромные штрафы за срыв сроков строительства. А когда архитектор принялся за работу, стал всеми силами мешать ему: постоянно придирался, заставлял снова и снова переделывать. Архитектор увидел, что не успевает вовремя; уплатить же неустойки он не имел возможности — и повесился в этом самом доме.
Хозяина это не смутило. Он поселился в особняке вместе с дочерью, а та влюбилась в певца итальянской оперы. Отец, конечно, запретил ей даже думать о подобном замужестве, и девушка убежала с итальянцем за границу. Отец остался один в огромном доме, злился на дочь и сильно по ней тосковал. Не выдержав, он поехал разыскивать ее и нашел — нищую, брошенную и беременную. Он запер её в комнате над вторым этажом, и когда она начала рожать, он не помог ей, оставив наедине с монструозной болью и злобой. Когда кирпичи были разобраны, ее нашли мертвой вместе с ребенком.
В действительности, после того, как дом Новиковых был построен в 1907 году, Сергей Гончаров долго жил в собственном доме в Трехпрудном переулке. Однако после 1917 года он перебивался только случайными заказами и умер в Москве летом 1935 года. При советской власти, особняк был приспособлен под дом детского творчества и назывался такими именами, как «Дом художественного воспитания детей Ленинского района», «Дом пионеров имени Павла Андреева», «Центр досуга и творчества» и т. д. В наши дни, здание признано объектом культурного наследия федерального значения и используется региональной общественной организацией под названием «Юрий Башмет — поддержка деятелей искусств и молодежного творчества», которая также известна как «Башмет-центр»