Распоряжением председателя КГИОП Сергея Макарова «Здание Английского собрания» (Миллионная ул., 17) включено в единый государственный реестр в качестве объекта культурного наследия регионального значения.
В 1730-е годы на этом участке располагался особняк генерала-аншефа Андрея Ивановича Ушакова, начальника тайной розыскной канцелярии в 1731-1736 годах, принимавшего участие в расследовании многих громких политических дел, например, в отношении А.П. Волынского, Э.И. Бирона и Н.Ф. Лопухиной.
С 1740-х годов после смерти А.И. Ушакова здание передавалось по наследству графине Е.А. Чернышевой (урождённой Ушаковой), графине Д.П. Салтыковой (урождённой Чернышевой), графине А.И. Орловой (урождённой Салтыковой).
В 1750-е годы по проекту архитектора А.Ф. Кокоринова дом был перестроен для зятя А.И. Ушакова – графа П.Г. Чернышева.
На акварели Бенжамина Патерсена 1799 года, запечатлевшей панораму Дворцовой набережной, можно идентифицировать рассматриваемое здание: трёхэтажный дом усложнён центральным ризалитом в три световые оси, балконом в уровне второго этажа и ступенчатым аттиком.
В 1829-1846 годах зданием владел граф Александр Александрович Апраксин, которому заложенный дом достался после смерти Орловых.
В 1846 году, в период владения домом графом Апраксиным, лицевой флигель со стороны Дворцовой набережной был перестроен в стиле неоренессанса по проекту архитектора Н.Е. Ефимова.
Апраксин А.А. продал здание князю Льву Людвиговичу Радзивиллу и его жене Софье Александровне. Радзивилл Л.Л. выполнял особые поручения императора, награждён многими государственными наградами и воинскими званиями за участие в различных военных кампаниях, в том числе, Крымской войне в 1853-1856 годов, а также за выполнение дипломатических поручений.
С 1891 по 1917 годы в здании размещался один из самых престижных клубов Санкт‑Петербурга – «Английское собрание». Членство в клубе указывало на высокий статус состоящих в нём людей. Престиж организации был обусловлен закрытостью Английского собрания, а также значительным влиянием на политическую сферу и общественное мнение.
«Английское собрание» или «Английский клуб» был основан в 1770 году Францом Гарднером. Английский клуб был одной из первых российских общественных организаций. Изначально в клубе состояли иностранцы, проживающие в России, но уже в 1780-е популярность Английского собрания начала расти у русской знати. Членство в клубе приняло элитарный характер, указывало на светское положение в обществе. До середины XIX века членами клуба были преимущественно представители таких дворянских родов, как князья Юсуповы, Голицыны, Оболенские, Долгоруковы, во второй половине XIX века в клубе появились представители буржуазии. Также членами клуба являлись многие писатели и поэты, например, А.С. Пушкин, Л.Н. Толстой, упоминавшие Английское собрание в своем творчестве, архитекторы, актеры и другие.
30 августа 1918 года во дворах дома № 17 по улице Миллионной пытался скрыться поэт, член партии народных социалистов и студент Петроградского политехнического института Леонид Каннегисер, убивший перед этим 1-го председателя Петроградской чрезвычайной комиссии по борьбе с контрреволюцией и саботажем Моисея Соломоновича Урицкого. В тот же день в Москве произошло покушение на жизнь В.И. Ленина. Помимо прочего, эти события спровоцировали начало красного террора.
Существующее здание было перестроено по проекту архитектора Фёдора Михайловича Вержбицкого в 1899-1900 годах в стиле эклектики с элементами барокко и классицизма. Лицевой фасад по улице Миллионной сохранил композицию – девять световых осей, три центральные оси выделены раскреповкой и завершаются ступенчатым аттиком, также сохранился вход в пространство парадной лестницы по боковой оси и габариты воротного проезда.
Поскольку Ф.М. Вержбицкий являлся специалистом в железнодорожной и казарменной архитектуре, редкий образец его творчества в сфере гражданской архитектуры представляется особенно интересным. Архитектору удалось вписать фасад объекта в исторически сложившуюся в XVIII-XIX веках застройку города, в которой преобладали здания в стилях барокко, классицизма и эклектики.
Во время Первой мировой войны в здании располагался лазарет, открытый членами Английского собрания.
В 1917 году Английский клуб перестал существовать, а помещения заняли коммунальные квартиры.
В 1939 году в доме по улице Халтурина (Миллионная) размещалось общежитие техникума речного транспорта, а в 1940 году – общежитие техникума речного флота.
В настоящее время здание является многоквартирным жилым домом.