Опыт использования искусственных нейросетей в решении задач виртуальной реконструкции исторических усадебных интерьеров

Маландина Татьяна Владимировна аспирант; кафедра Исторической информатики; Московский Государственный Университет им. М.В. Ломоносова 119192, Россия, г. Москва, Ломоносовский пр-т, 27, корпус 4 Malandina Tatiana Vladimirovna Postgraduate student, Historical Information Science Department, History Faculty, Lomonosov Moscow State University 27 Lomonosovsky ave., building 4, Moscow, 119192, Russia malandinatanya@gmail.com Другие публикации этого автора

Введение

Использование нейросетей в исследованиях по виртуальной 3D-реконструкции архитектурных памятников

Современные технологии искусственного интеллекта (ИИ), в частности машинное обучение, все чаще применяются в решении задач виртуальной 3D-реконструкции утраченных или повреждённых архитектурных памятников. Нейросетевые методы позволяют автоматизировать процессы обработки исторических данных, генерации трёхмерных моделей и текстурирования, что значительно ускоряет исследования в области цифровой археологии и культурного наследия.

Существует целый спектр задач в данной области, к решению которых могут привлекаться нейросети.

Во-первых, нейросети используются для анализа разнородных источников, включая архивные фотографии, гравюры, чертежи и текстовые описания. Свёрточные нейронные сети (CNN) применяются для распознавания и классификации архитектурных элементов, что помогает в восстановлении утраченных деталей ^[1]. Генеративно-состязательные сети (GAN), такие как StyleGAN, позволяют достраивать повреждённые фрагменты изображений на основе обучающих выборок ^[2].

Во-вторых, методы глубокого обучения, такие как нейросетевые архитектуры типа PointNet и MeshCNN, используются для автоматического построения трёхмерных моделей на основе облаков точек или частично сохранившихся фрагментов ^[3]. Алгоритмы на основе диффузионных моделей (например, DiffusionNet) помогают в создании плавных и детализированных поверхностей, соответствующих историческим аналогам ^[4].

В-третьих, нейросети применяются для автоматического наложения текстур на 3D-модели, используя методы переноса стиля (Neural Style Transfer) и повышения разрешения (Super-Resolution CNN) ^[5]. Это особенно важно при работе с низкокачественными архивными материалами.

В-четвертых, нейросети помогают в верификации и оптимизации реконструкций: с помощью методов машинного обучения проводится сравнение полученных моделей с известными аналогами, что позволяет минимизировать субъективность в реконструкции ^[6], а также нейросети используются для оптимизации полигональных сеток с сохранением ключевых деталей.

Тем не менее в отечественной историографии пока еще крайне мало примеров применения нейросетей в процессе виртуальной 3D-реконструкции архитектурных памятников, особенно если речь идет о работе с интерьерами. Автором данного исследования была впервые проведена апробация возможностей использования искусственных нейросетей в решении задач виртуальной реконструкции исторических усадебных интерьеров на примере усадьбы Кузьминки (рис. 1).

Рис. 1. Главный дом усадьбы Кузьминки. Фотография из книги Порецкого Н. А. Село Влахернское (1913)

Особенности интерьеров главного дома усадьбы Кузьминки в XVIII – начале XX века

Усадебный комплекс Кузьминки, расположенный в юго-восточной части Москвы в районе Кузьминки на землях старинных сел Капотня и Кузьминки, является уникальным памятником архитектуры и усадебной культуры, история которого насчитывает более 300 лет. Данная усадьба первоначально являлась летней резиденцией баронов Строгановых и впоследствии перешла во владение князей Голицыных. В строительстве ее многочисленных построек участвовали такие знаменитые архитекторы, как М. Ф. Казаков (1780-е гг.), И. В. Еготов (1780-е и 1804-1808 гг.), А. Н. Воронихин (1807-1808 и 1811-1812 гг.), представители династии Жилярди (1807-1808, 1811-1815, 1824, 1830-1835 гг.) и М. Д. Быковский (с 1840-х).

Архитектурный облик главного усадебного господского дома Кузьминок, а также его интерьеры пережили несколько основных этапов в процессе перестроек и внутренней пространственной эволюции.

В период первоначального формирования (1716-1757 гг.) главный дом усадьбы, построенный для баронов Строгановых, получивших эти владения в 1702 г., когда Петр I, конфисковав эти земли у Симонова монастыря, пожаловал их в вотчину своему приближенному, отражал характерные черты петровского барокко в интерьерах. Первым известным архитектором, работавшим в Кузьминках, был И. П. Жеребцов (активен в 1750–1770-х годах). При нем произошла большая реконструкция господского дома, в котором были выделены 28 помещений, и он уже тогда включал камерную анфиладную планировку парадной части первого этажа ^{[7, с. 55]};

После перехода усадьбы к князьям Голицыным в качестве приданого для Анны Александровны Голицыной (в девичестве Строгановой) начался ее «золотой век», а интерьеры приобрели черты зрелого классицизма.

Главный дом, перестроенный в 1804–1808 годах по проекту Ивана Еготова, воплощал эстетику классицизма. Здание главного дома было соединено в единый ансамбль с двумя боковыми флигелями открытыми галереями. Интерьеры этого периода отличались симметрией, изысканной декоративностью и функциональностью. Отделка парадных залов анфилады, включавшей круглый бальный зал, кабинет, столовую и гостиные, скорее всего была выполнена видными мастерами (Д.-Б. Скотти, С. Ольдинелли), украсившими стены и своды мрамором и живописью в технике гризайль и многофигурными композициями на сюжеты античной мифологии, чередующимися с романтическими пейзажами, что соответствовало стилю русского ампира ^{[7, c. 55]}. Мебель, стилистически напоминающая работы мастера Жакоба, из ценных пород дерева, таких как карельская береза, и текстильные элементы подчеркивали статус владельцев ^{[7, илл. 22]}. Портретные галереи, характерные для усадеб того времени, украшали стены парадной анфилады ^{[7, илл. 19, 20]}.

На данном этапе был окончательно оформлен архитектурный облик центрального круглого зала, отражающий классицистическую архитектуру с элементами ампира, популярными в начале XIX века. Зал отличался куполообразным потолком, украшенным лепным орнаментом в виде растительных мотивов и гирлянд, что подчеркивало торжественность пространства и соответствовало эстетике русского ампира. Колонны с коринфскими капителями, выстроенные по периметру, поддерживали античный характер интерьера, а их белая отделка контрастировала с темным шахматным паркетным полом (возможно из мореного дуба), создавая визуальную глубину. Центральный элемент зала — стол, украшенный скульптурными деталями в виде львиных лап, дополненный бронзовыми статуэтками и вазами, что подчеркивало роскошь и симметрию. Хрустальная люстра с множеством свечей, подвешенная под куполом, усиливала эффект света и отражала моду на граненое стекло в парадных залах. Стены украшали живописные панно и бюсты, размещенные на консолях, что соответствовало традиции репрезентации культурного статуса владельцев. Мебель включала кресла с обивкой из бархата и изящные столики, гармонирующие с общей композицией. Круглый зал использовался для приемов и балов, демонстрируя синтез архитектуры, скульптуры и декоративного искусства, характерный для усадебного интерьера XIX века. ^{[7, илл. 19]}

В 1812 году усадьба пострадала от французского нашествия, что потребовало восстановительных работ. В период реконструкции под руководством братьев Жилярди и вплоть до кончины самого известного владельца усадьбы князя Сергея Михайловича Голицына, благодаря которому Кузьминки снискали звание «Русского Версаля» (1830-1861 гг.), в интерьеры были привнесены некоторые элементы романтизма. Обновленные интерьеры, вероятно, включали декоративные ткани и исторические мотивы, отражая переход к эклектичным стилям. Визит императрицы Марии Федоровны в 1826 году подчеркивает репрезентативную функцию главного дома ^{[7, с.11]}.

После смерти Сергея Михайловича Голицына усадьба вошла в период упадка (1861-1917 гг.). Интерьеры подверглись значительным изменениям:

1. Функциональная перепланировка под нужды дачников, арендовавших здесь помещения;

2. Замена исторических элементов современными;

3. Частичная утрата декора. ^{[8, c.28-29]}

В 1916 году в Кузьминках произошел пожар, в результате которого главный господский дом сгорел полностью ^{[9, c. 155]}. После революционных событий 1917 года в 1918 году территория усадьбы была передана Институту экспериментальной ветеринарии, для которого архитектор С. А. Торопов в 1930-е годы создал проект нового корпуса на фундаменте сгоревшего княжеского дворца. Данное здание содержит лишь легкий оммаж на первоначальный памятник (рис. 2).

Рис. 2. Современный вид бывшего здания Института экспериментальной ветеринарии, построенный в 1930-е гг. на месте княжеского дворца усадьбы Кузьминки

Источниковая база исследования

Объектом виртуальной 3D-реконструкция интерьеров главного дома усадьбы Кузьминки выбран центральный бальный зал парадной анфилады, так как он отличается уникальной архитектурой (прямоугольное помещение с внутренним эллипсовидным куполом) и обширной источниковой базой (рис. 3).

Во-первых, это архивные материалы: описи имущества 1808, 1859 гг. (ЦИАМ, ф. 54) и чертежи из собрания ГНИМА им. Щусева.

Во-вторых, важнейшую роль играют визуальные источники: литографии И.-Н. Рауха (1841) и фотографии конца XIX - начала XX века из коллекций Государственного Исторического Музея, Государственного Эрмитажа и собрания ГНИМА им. Щусева.

В-третьих, имеются сохранившиеся вещественные свидетельства, предметы интерьера и декора: например, сохранившиеся элементы отделки (ГИМ 60082/332б), фрагменты мебельных гарнитуров, портреты центрального зала.

В-четвертых, не следует умалять роль текстовых источников, которые содержат свидетельства современников:

1. Греч А. Н. Кузьминки/ Подмосковные музеи. М., 1925. Вып. 6;

2. Греч А.Н. Венок усадьбам// Памятники Отечества. Вып. 32. 1994. № 3-4. С. 160-163;

3. Две подмосковные князя С. М. Голицына. Кузьмин и Дубровицы. Старые годы, 1910, № 1, Январь;

4. Порецкий Н. А. Село Влахернское. М., 1913;

5. Шамурин Ю. И. Подмосковные. М., 1912.

В-пятых, именно в работе с интерьерами часто нужны предметы, которые могут быть использованы для анализа и реконструкции как аналоги в силу низкой сохранности оригинальных предметов. Соответственно данные предметы так же подбираются в процессе консультаций с экспертом – Главным хранителем музейных предметов усадьбы Кузьминки Марии Витальевны Борисовой.

Возможности работы с различными типами источников ограничены, тем не менее их источниковедческий синтез позволяет осуществить виртуальную 3D-реконструкцию интерьера центрального зала:

1. Научно-техническая документация (планы и чертежи) выявляет размеры построек, их расположение, внутреннюю пространственную организацию и дает возможность атрибуции фотографий;

2. Исторические фотографии дают расположение элементов, пропорции, формы предметов и отделки их цветовую насыщенность;

3. Изобразительные источники дополняют фотографии и создают возможности для реконструкции цветовой палитры;

4. Письменные источники содержат историю объекта, ее периодизацию, а также часто могут содержать информацию об особенностях интерьера и ощущениях его посетителей;

5. Подобранные аналоги и их фотографии могут применятся в реконструкции деталей и цвета, а также предметов, по которым нет визуальных источников.

Виртуальная 3D-реконструкция интерьера бального зала осуществляется на период второй половины XIX – начала XX в. согласно источникам, отражающим финальную стадию его развития как летней резиденции князей Голицыных.

Рис. 3. Николаевский Ф. Л. Большой зал в имении «Кузьминки» 1909 г. // Экспозиция Государственного Эрмитажа

Методологические и технологические аспекты виртуальной 3D-реконструкции интерьера с применением нейросетей

Оригинальный усадебный интерьер главного дома Кузьминок был полностью уничтожен после пожара 1916 г., так как дворец сгорел до фундамента, а многие вывезенные предметы в процессе переезда князей Голицыных в другую летнюю резиденцию (Дубровицы) были в итоге рассеяны после революционных событий 1917 г. по многочисленным музейным хранилищам или так же утрачены. В данном исследовании не ставится задача выявление локализации всех оригинальных предметов и истории их передвижений. Тем не менее собранная источниковая база позволяет создать представление о предметах мебели и декора, которые находились здесь на второй половине XIX – начале XX века и построить их виртуальную 3D-реконструкцию.

Исследование базируется на междисциплинарном подходе, сочетающем методы исторического анализа, 3D-моделирования и искусственного интеллекта. Для сравнительной виртуальной 3D-реконструкции интерьеров центрального зала господского дома усадьбы Кузьминки используются следующие инструменты.

Классическое моделирование и визуализация (программное обеспечение):

1. 3Ds Max 2025 - создание 3D-моделей;

2. Corona Renderer – визуализация результата моделирования.

Нейросетевая визуализация:

1. Tripo AI - генерация 3D-моделей по 2D-изображениям;

2. Midjourney – генерация текстур;

3. Prome AI –поэтапная и финальная визуализация.

Для апробации предложенного ниже алгоритма работы был выбран конкретный предмет интерьера центрального зала господского дома – кресло из мебельного гарнитура, состоявшего из дивана, нескольких кресел и стульев.

Основными источниками послужили фотографии центрального зала (1900–1916 гг.), описания интерьеров в трудах Н.А. Порецкого, А.Н. Греча и Ю. И. Шамурина и музейные экспонаты, подобранные согласно типологическому методу, активно применяющемуся в музейном деле (рис. 4, 5).

На основании имеющихся фотографий можно провести краткую предварительную атрибуцию данного предмета интерьера:

1. Стиль: ампир;

2. Датировка: конец XVIII – начало XIX века;

3. Размеры: ≈ 92×66×60 см (типичные габариты для парадной мебели эпохи);

4. Основной материал: дерево (береза или махагон);

5. Обивка: шелк или бархат (указывает на парадное назначение);

6. Отделка: масляная краска, лак, резьба и токарная работа (ножки, подлокотники), вышивка, золочение;

7. Стилистические особенности: массивные прямоугольные формы, прямые ножки с резным декором (каннелюры), античные мотивы (пальметты, меандры, лавровые венки), растительные или классицистические орнаменты, резной декор с позолотой.

Рис. 4. Кресло в стиле ампир (слева), находившееся в центральном зале главного дома и референсы из коллекции ГИМ по стилю и фактуре

Рис. 5. Референсы по цветовому решению мебели: Гау В. И. Портрет князя С.М. Голицына. 1837 // Экспозиция ГЭ; Кюнель Ф. Портрет Княгини Анны Александровна Голицыной, урождённой баронессы Строгановой. 1800-е // Экспозиция ГИМ

Процесс реконструкции посредством классических технологий моделирования и визуализации шел согласно следующим этапам:

1. Реконструкция основной геометрии центрального зала главного дома усадьбы Кузьминки в программе 3DsMax и создание белого рендера помещения;

2. Реконструкция конкретного предмета в программе 3DsMax – кресла в стиле ампир – и интеграция его в помещение;

3. Финализация визуализации белого рендера с креслом как центральным объектом-акцентом посредством программы Corona Renderer (рис. 6, 7).

Рис. 6. Визуализация геометрии центрального зала главного дома и предмета мебели – кресла (в программах 3DsMax, Corona Renderer)

Рис. 7. Визуализация геометрии центрального зала главного дома и предмета мебели – кресла (в программах 3DsMax, Corona Renderer) (приближение)

В процессе апробации возможностей нейросетей для создания виртуальной 3D-реконструкции конкретного предмета интерьера были отобраны нейросети, технологические возможности которых дополняют друг друга: Tripo AI позволяет автоматизировать процесс моделирования мебели, Prome AI помогает текстурировать поверхности, а в Midjourney осуществляется подбор и генерация аутентичных материалов. Важно подчеркнуть, что предложенный ниже алгоритм являет собой контролируемый процесс работы в генеративных нейросетях с конкретными фотографиями реконструируемого предмета с добавлением описания элементов предмета согласно проведенной атрибуции (написание соответствующих промптов). Нейросети применяются в данном случае как виртуальные ассистенты в процессе 3D-реконструкции согласно источниковой базе.

Технологическая процедура визуализации 3D-реконструкции предмета интерьера – кресла – в центральном зале главного дома Кузьминок включает реализацию следующих этапов:

1. Сбор архивных фотографий и современных фотографий предметов-референсов для воссоздания образа кресла;

2. Загрузка всех фотографий в нейросеть Prome AI и генерация генерального сводного референса в результате контролируемого процесса работы с подобранными источниками (рис. 8);

Рис. 8. Результаты генерации сводного референса в нейросети Prome AI

3. Создание 3D-модели на основе генерального 2D-референса в нейросети Tripo AI и его виртуальная съемка с нескольких ракурсов (рис. 9);

Рис. 9. Результаты генерации 3D-модели на основе генерального 2D-референса в нейросети Tripo AI

4. Генерация в нейросети Midjourney текстур обивки кресла согласно архивным фотографиям и фотографиям предметов-референсов;

5. Загрузка всех референсов и виртуальных фотографий сгенерированной 3D-модели кресла в нейросеть Prome AI и посредством работы в режиме Sketch Rendering создание сводной визуализации предмета интерьера – кресла (рис. 10);

Рис. 10. Подготовка материалов к созданию сводной визуализации кресла в нейросети Prome AI

6. Доработка изображения кресла с помощью промптов и модификаций в режиме Edit c целью уточнить и детализировать изображение. (рис. 11)

Рис. 11. Результаты обработки нескольких ракурсов кресла в нейросети Prome AI

Финальным этапом реконструкции стало добавление в нейросети Prome AI созданной в нейросетях визуализации кресла в пространство белого рендера помещения, построенного в программах 3DsMax и Corona Renderer, а также обработка полученного изображения согласно архивным фотографиям центрального зала (рис. 12, 13).

Рис. 12. Визуализация геометрии центрального зала главного дома (в программе 3DsMax) и предмета мебели – кресла (Tripo AI, Prome AI, Midjourney)

Рис. 13. Визуализация геометрии центрального зала главного дома (в программе 3DsMax) и предмета мебели – кресла (Tripo AI, Prome AI, Midjourney) (приближение)

Результаты исследования

В данном исследовании на основе источниковой базы, состоявшей из фотографий, описаний и предметов-аналогов была восстановлена планировка центрального зала главного дома усадебного комплекса Кузьминки, включая элементы декора в стиле ампир (сдвоенные колонны), а также апробирован алгоритм работы по виртуальной 3D-реконструкции конкретного предмета интерьера про помощи нейросетей. Нейросети Tripo AI и Prome AI позволили автоматизировать процесс моделирования мебели и текстурирования поверхностей. С помощью Midjourney был выполнен подбор и генерация аутентичных материалов.

Сравнение «классических» и нейросетевых методов показало, что нейросетевые методы открывают новые возможности для построения виртуальных 3D-реконструкций интерьера: они позволяют формировать иной, не уступающий традиционному моделированию, путь визуализации конкретных предметов обстановки помещений. При этом нейросеть выступает здесь именно как инструмент и виртуальный помощник, результат обращения к которому поддается контролю посредством грамотного оперирования набором подходов к обращению с материалом источниковой базы, загружаемому в нейросеть.

Более того, применение нейросетей в реконструкции усадебных интерьеров выявило важное преимущество: возможность быстрой интеграции результатов в виртуальные экспозиции (например, для музеев) при сохранении достаточно высокой степени достоверного восполнения утраченных деталей без потери качества.

Тем не менее применение нейросетей в построении виртуальной 3D-реконструкции интерьеров предполагает необходимость решения ряда проблем, связанных с особенностями обработки источникового материала нейросетями и необходимостью верификации результата реконструкции с помощью экспертной оценки.

Таким образом, данное исследование подтвердило эффективность нейросетевых технологий как инструмента в реконструкции исторических интерьеров, что особенно ярко прослеживается на стыке применения классических инструментов моделирования и визуализации и нейросетей. Данная тема требует дальнейшего изучения и развития, а также апробации других нейросетей.

Автор выражает глубокую признательность Главному хранителю музейных предметов усадьбы Кузьминки М.В. Борисовой за предоставленные материалы и консультации.