Алгоритм за мольбертом

«Цифровые кисти и холсты не обязательно лучше привычных, но <...> я чувствую, что они позволяют мне смотреть на вещи под разными углами». Эту фразу немецкого художника Марио Клингеманна — одного из пионеров «сотворчества» с искусственным интеллектом — можно отнести к компьютерному искусству в целом. Оно многогранно, непредсказуемо, порой — пугающе-гротескно. «Цифра» поражает диапазоном возможностей, и было бы недальновидно не использовать их в художественных практиках. Особенно если в распоряжении есть технологии машинного обучения и нейронные сети. В эффектах созданных с их помощью арт-объектов IQ.HSE разобрался с помощью статьи преподавателя Института медиа факультета креативных индустрий ВШЭ Станислава Миловидова.

(Бес)конечные горизонты «зловещей долины»

Компьютерное искусство — новая реинкарнация авангарда, арт-революции. Это явление порождает целый спектр эмоций: от неприятия и фобий (мол, умная машина когда-нибудь «превзойдет» художников!) — до восхищения. Однако главный вопрос прямо сейчас — на современном витке развития технологий — что компьютерные алгоритмы дают художникам? Какие неочевидные для людей связи они «видят», и почему ИИ все чаще доверяют решение творческих задач.

Искусственный интеллект, а точнее, интеллектуальные алгоритмы — широкая линейка специальных программ и моделей, включающих в себя нейронные сети и другие технологии машинного обучения, а также специализированное компьютерное оборудование.

Рассмотрим, например, кейс Марио Клингеманна, который с помощью ИИ создал арт-объект «Воспоминания прохожих I» (2019). В Москве он был представлен в 2021 году. В этой видео-работе нейросеть, обученная на тысячах полотен живописцев, генерировала портреты несуществующих людей, а затем их изображения выводились на экран. Любопытным оказалось не столько творчество машины, сколько разрыв шаблонов у зрителей. Воспринимают ли они сгенерированные изображения всё ещё как портреты или расценивают эти артефакты как нечто «иноприродное»?

Исследователи замечали, что при рецепции «Воспоминаний прохожих I» возникает эффект «зловещей долины» (uncanny valley; термин ввел японский робототехник Масахиро Мори). Это эмоциональное отторжение от наиболее антропоморфных объектов, «как будто имеешь дело с образом-Франкенштейном, то есть созданным механическим сопоставлением частей, по каким-то неясным признакам ассоциированных друг с другом».

Этот тип ассоциации даже описали психологическим понятием «апофения». Оно означает «немотивированное видение взаимосвязей» в случайных или бессмысленных данных (примерно так же люди когда-то «опознавали» в ландшафте Марса человеческое лицо). Но даже если не считать этот эффект апофенией, нужно признать, что люди всегда чувствительны к изображениям лиц, — это заложено в природе человека.

Впрочем, важнее отношение к нейротворчеству самих художников — как проводников данного типа искусства к зрителям. Так, Марио Клингеманн в применении к технологиям, связанным с ИИ, отмечает: «Они позволяют мне <...> преобразовывать пространства изображений, языка, музыки и почти всего остального, что может быть закодировано в некоторую форму цифровых данных. Традиционные инструменты этого не позволяют сделать. <...> Гиперпространства, лежащие в основе большинства нейронных сетей, смогут стать для нас новой средой».

Искусство не появляется только из того, что есть внутри нас, поясняет Клингеманн. Всегда должен быть некий внешний аспект — вне зоны контроля художника, допускающий случайные происшествия. А они, в свою очередь, могут питать воображение и продвигать художника в его исследованиях. В живописи фантазию могут дополнительно стимулировать текстура холста, состав красок и «поведение» кисти. «В моей области это случайность и внешние данные, которые продолжают мне давать неожиданные результаты, которые я затем пытаюсь использовать и контролировать», — говорит художник.

Кто-то, возможно, скажет, что это типичный датаизм (от англ. data — «данные») — «новая религия» «поклонение» потоку данных. Но для Клингеманна это — «бесконечный цикл новых открытий».

Конвульсивная красота

В том же интервью немецкий художник упоминает ещё одно направление компьютерного искусства — глитч-арт — эстетизацию ошибок и неисправностей. Глитч-арт обнажает цифровую природу различных объектов, программное и алгоритмическое тело машины. Похожим образом в своё время авангардисты «обнажали приём» — демонстрировали «механику» творчества.

 

По словам исследователей глитч-арта, он прямо взаимодействует «со специфической технической <...> материальностью, исследует её, взламывает», выявляет ограничения оборудования и программ.

В проекте «Нейронный глюк» Клингеманн намеренно вносит сбои в архитектуру нейронных сетей и смотрит на эффекты (примерно так же работают другие художники). Лицо, отрисованное с помощью «глюка», может иметь глаз вместо рта или волосы вместо кожи. Это зачастую выглядит более гротескно, чем, например, дипфейк — поддельный медиаконтент, созданный с помощью алгоритмов глубокого обучения (от англ. deep learning — «глубокое машинное обучение» и fake — «фальшивка»).

В дипфейк-подделках лицо одного человека часто «надевают» другому, меняют поведение людей, «переозвучивают» (так, в одном из смонтированных видео Барак Обама якобы обзывал Дональда Трампа). Такие практики иногда используются для компрометации, оскорбления, дезориентации, мошенничества.

Результаты «Нейронного глюка» Клингеманн называет «странными, порой даже пугающими». Но для творческого человека это новые возможности. Особенно с учетом того, что художник использует генеративно-состязательные сети (generative adversarial network, GAN) — алгоритм машинного обучения, построенный на комбинации из двух нейросетей с противоположными целями. Одна генерирует образцы, другая — сортирует, отбраковывает всё неправильное. Это взаимодействие напоминает соревнование или противоборство полицейских и преступников. А его результаты —  потрясающие или шокирующие. По словам медиахудожника Вадима Эпштейна, «некоторые разновидности GANизма сравнивают с Филоновым (создателем аналитического искусства), некоторые — с творчеством перенесших инсульт».

Добавим, что нейросетевые арт-объекты (не только связанные с GAN) могут вызывать ассоциации с работами австрийского модерниста Густава Климта, норвежского экспрессиониста Эдварда Мунка, а также сюрреалистов — француза Андре Бретона, немецко-французского художника Макса Эрнста, бельгийца Рене Магритта. В некоторых проектах почти реализуется месседж Андре Бретона: «Красота должна быть подобна судороге».

Агоны нейросетей

Алгоритмы могут соперничать друг с другом не только внутри пайплайна одной модели, но и в рамках реального соревнования, где каждый из них является автономным участником. Такие состязания во многом стали возможными благодаря алгоритму DeepDream, разработанному программистом Google Александром Мордвинцевым. Изначально он предназначался для тестирования обучения нейросетей, но вскоре продемонстрировал и художественные возможности. «Именно в нём впервые появился галлюцинирующий видеоряд, в котором приближающиеся объекты оказываются как будто бы не тем, чем представлялись ранее», — поясняет Станислав Миловидов.

У DeepDream есть любопытный эффект — созданные им причудливые образы как бы «возвращают» взгляд зрителю — в упор смотрят на него. Искусствовед Глеб Напреенко рассуждает: «<...> Уже во французской живописи второй половины XIX века появляются образы, возвращающие взгляд зрителю <...>. Эта парадигма снова актуализируется в работах DeepDream. Его способность выявлять в любых изображениях рожицы и мордочки соответствует нашему внутреннему стремлению обнаруживать направленные на нас взгляды, таящиеся в вещах».

Потенциал этих визуальных игр был адаптирован к конкретным творческим практикам. Так, в 2016 году американский программист и медиахудожник Джин Коган использовал две нейронные сети для эксперимента, в ходе которого DeepDream генерировала поток видеоизображения, а нейросеть DenseCap распознавала возникающие объекты. По словам художника, это видео показывает возможное будущее, в котором несколько нейронных сетей пытаются обмануть друг друга. В нём поднимается проблема распознавания дипфейков, которая с 2020 года получила развитие в нейронных сетях, обученных выявлять подделки.

Высокохудожественная «бухгалтерия»

За последние годы (особенно 2022 и начало 2023-го) технологии машинного обучения и нейросети превратились из аттракциона в орудие творчества (его ещё называют «креативный ИИ»). Работы, созданные в тандеме с нейросетями, представляют не только на смотрах компьютерного искусства и конференциях по IT, но и на площадках, экспонирующих медиаискусство и сайнс-арт (от англ. science и art — экспериментов на стыке науки и искусства).

Развитие подобных интеллектуальных систем, несомненно, стимулировало появление новых способов работы с изображением. Поначалу в трудах культурологов компьютер осмыслялся как инструмент художника, работающего с программным кодом, интерфейсами, аппаратным обеспечением (часто это помещалось в контекст «новых (цифровых) медиа»). Учёные анализировали прежде всего произведения генеративного искусства, создаваемого компьютером на основе кода. Эстетику таких арт-объектов «измеряли» параметрами сбалансированности, симметрии, единства.

Один из специалистов по цифровой культуре Лев Манович среди преимуществ компьютерных технологий в искусстве отмечал, что машины могут рассчитать множество визуальных характеристик с непревзойденной точностью. Они могут количественно описывать особенности изображений, которые не выражены в отдельных визуальных элементах, таких, как цветовые линии Джексона Поллока (лидера абстрактного экспрессионизма). «Примерами таких характеристик могут быть <...> текстуры, степень резкости или размытости фотографии или скорость движения людей на видео», — поясняет культуролог. 

Но по-настоящему революционными стали научно-технические прорывы, связанные с разработкой технологий глубокого машинного обучения и нейросетей (в частности, алгоритма GPT (generative pre-trained transformer — генеративного предобученного трансформера) и его дальнейших поколений — вплоть до GPT 3.5 и 4.

Нейросетевой поворот

Алгоритмы, способные к обучению, установлению связей между различными объектами и видами данных, формированию логики взаимодействия с ними, — нейросети — показали колоссальные возможности. Со временем они научились переводить и писать тексты, иллюстрировать прозу, делать стилизации под известных художников, сочинять стихи.

Все эти достижения подогрели в обществе дискуссию об «искусстве ИИ». В её рамках обсуждают философские основания сознания, статус умной машины как агента, «автоматизацию» эстетического выбора.

С учётом названных научно-технических прорывов, по мнению Льва Мановича, меняются и принципы творческой деятельности, где непрерывное мышление художника проявляется в виде «последовательности дискретных операций с числовыми параметрами». А значит, можно попытаться формализовать творческий процесс и облегчить манипуляцию отдельными его элементами. 

Здесь стоит добавить, что нейронная сеть строит композицию по иным принципам, чем люди. Тут особая «формализация творческого процесса». Он, скорее, похож на выращивание некой органической структуры, чем на строительство объекта из отдельных элементов по плану.

При этом нейросетевая «органика» — работы умных машин — нередко выглядят бессмысленными для человека. По мысли Мановича, это связано с ограничениями сознания. Пусть сгенерированные компьютером произведения внешне не обнаруживают признаков заложенной в них системы, но они также не являются случайными. У них — особая логика, и её стоит осмыслить.

Непредсказуемая антиципация

С развитием компьютерных технологий в искусстве получается, что теперь для получения изображения предмета не нужен ни сам предмет, ни его образ в воображении художника. Как сказал бы философ-постмодернист Жан Бодрийяр, возникает симулякр (копия того, чего на деле не существует), основанный на «информации, моделировании, кибернетической игре». 

Изображения, созданные нейросетями, не являются проекцией или воображаемым относительно реального. Они становятся, скорее, попыткой предугадать представление о предмете до акта его восприятия. Но результаты этой антиципации — всегда непредсказуемы для художника.

«Так как ничто более не отличает модель от реальности, сама реальность становится обстоятельством, обнаруживающим симулякр», — пишет Станислав Миловидов. Этот процесс, с одной стороны, выражается в создании алгоритмов, выявляющих дипфейки. А с другой — становится благодатной почвой для глитч-арта.

Обнаженные механизмы

Работы «Субкультурная генетика» (2019), «Terminal Blink» (2020), «Китеж» и «Призраки» (2021) медиахудожника Вадима Эпштейна сделаны с помощью нейросети. Но в основе изображений — очень разные датасеты: лица людей, палехская роспись, образцы графики и пр. В итоге рождается видеоряд с текучими метаморфозами. 

«Элементы фона, не воплотившиеся в предмете, с одной стороны, характеризуются <...> зыбкостью, а с другой — имеют всё ещё строгую математическую зависимость от сформированного нейросетью паттерна или модели объекта, — поясняет Станислав Миловидов. — Их структура случайна <...> для наблюдателя, но закономерна для машины».

Манович называет подобные процессы разрушением «мета-шаблона человеческой культуры». Человек на протяжении всей своей истории создает арт-объекты, обладающие единым мета-паттерном — определённым стилем, который позволяет типологизировать их. Когда компьютер учится вычленять паттерны из художественных работ, он следует тем же путём, что и человек, вырабатывает принципы, по которым различает стили. Однако, подчеркивает Манович, логика выявления тех или иных признаков может быть непохожей на человеческую.

Не удивительно, что в восприятии аудитории современные алгоритмы — «чёрные ящики», чья гетерогенная природа и структурные элементы скрыты от наблюдателя. Однако в моменты сбоев и поломок «чёрные ящики распахиваются». Так обнажается коллективное действие акторов сети и вклад каждого элемента в конструируемое пространство. Так нейросети используются, в том числе, как инструмент, помогающий явить «скрытый мир» алгоритмической эстетики. 

Визуализация «Бармаглота»

В 2021 году произошла революция: появились нейросети с огромным багажом знаний, которые могут выстраивать более глубокие связи и с ходу решать широкий круг задач. Это «фундаментальные модели» (foundation models), обученные на триллионе единиц данных. Это позволяет использовать их для интерпретации информации на естественном языке. А текст теперь довольно легко конвертируется в изображение.

О подобном опыте рассказывает Вадим Эпштейн. Он использовал свой генератор, разработанный на основе модели CLIP от компании OpenAI, который принимает на вход текст, дальше «фантазирует и превращает это в видео».

«В генератор я ввёл <...> фразу в духе: “Придумай монументальную сагу-сериал про жизнь, смерть и любовь, где будут люди, боги, роботы, природа”, — говорит художник. — А затем приложил 30–40 имён известных художников, чей стиль нейросеть уже неплохо знает. Получилось эпичное батальное видеополотно <...>. 

Ещё одна видео-работа Эпштейна отсылает к стихотворению «Бармаглот» из «Алисы в Зазеркалье» Льюиса Кэрролла (на английском языке). Опираясь на текст каждой строфы, машина создала трёхмерные изображения — от антропоморфных до монструозных — и сформировала из них видеоряд. «В процессе работы обученного алгоритма проявляются призрачные фигуры и лица, строения и другие фантастические объекты, затем они снова растворяются в пиксельных пейзажах в гибридном гипнотическом танце», — замечает Станислав Миловидов. Видеоряд сопровождается декламацией стихотворения в исполнении британского культового актера Бенедикта Камбербэтча.

В основе видеоарт-объекта британского медиахудожника Мемо Актена «За всем следят машины благодати и любви» — одноименное стихотворение (1967) Ричарда Бротигана. На экране возникает селфи самого Актена, которое программа меняет так, что скоро от его лица остаются только отдельные черты. В принципах построения изображения и текучих трансформациях проступает образность нейросети DeepDream.

При этом сцены монтируются внутрикадрово. Фокус задаёт движение не камеры, а самого изображения. Периодически зрителю удаётся зафиксировать эпизоды, в которых угадывается композиция из знакомых объектов: смартфонов, кабелей, цветов, домов, оленей, кровеносных сосудов, пишет Станислав Миловидов. «Зритель оказывается в мире техно-природных симбионтов, где электрические кабели произрастают на поле, как сельскохозяйственные культуры, а их плодами становится электрический сигнал; кибернетические олени сосуществуют в лесу наравне с такими же кибернетическими цветами, а кровеносные сосуды питают смартфоны <...>», — отмечает исследователь.

В таких работах возникает обратная связь получившегося видеоряда и воображения художника, при которой машина создает образы на заданную им тему, а сознание затем находит логику в сгенерированном визуальном ряде. Впоследствии похожую работу проделывает и зритель по отношению к «нейротворчеству».

С визуализацией стихов относительно понятно. Но как обстоит дело с «воплощением» абстрактных понятий — счастья, депрессии, любви? Их «экранизация» оказывается неоднозначной, сновидческой. Машинное восприятие действительности лишено ассоциативных предрассудков и может устанавливать связи между любыми понятиями и предметами, говорит Миловидов.

В поисках истины

Использование нейросетей привносит новые уникальные формы в компьютерное искусство. И у художника, и у зрителя появляется возможность «увидеть» мышление искусственного интеллекта, почувствовать алгоритмическую эстетику, ощутить границы возможностей вычислительных машин — и одновременно узнать что-то новое о человеке, его сознании и творческом потенциале.

Правда, и научно-технические прорывы, и связанные с ними художественные практики запустили новый виток дискуссии о роли ИИ в искусстве. Она вновь затрагивает проблему человеческого сознания. «Современная философия, нейрофизиология, психология и другие науки предпринимают попытки обнаружить новую материальность, недоступную человеку физически, так как пространство восприятия структурировано природой сознания, — пишет Станислав Миловидов. — Таким образом, первые попытки прикоснуться к нечеловеческому требуют создания социотехнических гибридов — естественного и искусственного интеллектов, например, художника и нейронной сети».

Кажется, что и науки, и искусство — уже в шаге от нащупывания «новой материальности», неочевидных связей. Но, возможно, компьютеры в этих поисках оказываются смелее человека. Или просто технологичнее его.
IQ
 

Автор исследования:

Станислав Миловидов, преподаватель Института медиа факультета креативных индустрий НИУ ВШЭ

Автор текста: Соболевская Ольга Вадимовна, 27 июля, 2023 г.