Сидоровы в нейросетях

В России впервые снимают сериал по сценарию, написанному искусственным интеллектом (ИИ). Это увлекательный эксперимент — как для участников проекта, так и для их будущих зрителей. IQ.HSE рассказывает, откуда появилась такая идея и как вообще стало возможно заменить человека-сценариста нейросетью. Спойлер: до конца этого сделать не удастся скорее всего никогда.

В павильоне российской киностудии стоят декорации квартиры — кухня, спальня, гостиная, прихожая и балкон. В гостиной всё время включен телевизор, с балкона открывается вид на залитый солнцем город, а на кухне собирается большая семья: муж, жена, сын и бабушка с дедушкой. Это — семейка Сидоровых.

Сидоровы живут обычной жизнью, но вдруг понимают, что что-то идёт не так: они не покидают квартиры и слышат закадровый смех. Отец семейства вопрошает: кто я? Почему я здесь? Неожиданно он осознаёт, что является героем ситкома, и с этой минуты все его мысли только о том, как вырваться из сериала в реальный мир.

Неожиданный поворот сюжета придумал не человек, а искусственный интеллект, — нейросеть, которая с помощью людей написала сценарий ситкома для федерального телеканала.

«Нейросеть сама навела нас на парадоксальный поворот сюжета во время генерации очередного диалога или синопсиса», — вспоминает Роман Брызгалов, руководитель digital-направления телеканала СТС. С этого момента, говорит он, люди решили отталкиваться от этой идеи и направлять ИИ в нужную сторону.

«В этом проекте мы внедряли инновации не для решения технических задач, как это давно делают где-нибудь в машиностроении и медицине. Мы применили искусственный интеллект там, где он ещё мало используется, — в сфере кино и творчества», — рассказывает Виктория Литвинова, куратор проекта со стороны образовательной платформы Skillbox, разработавшей нейросеть. По её словам, это был настоящий эксперимент. Рассказываем, как он проходил.

Окрошка от Горбачева

Сценарий для ситкома «Сидоровы» написала нейросеть A.I. TV Script Generator, которую разработали студенты профессии Data Scientists Pro крупной российской образовательной платформы Skillbox Владимир Ларькин и Вадим Поволоцкий. На её создание у них было всего шесть месяцев, поэтому они позаимствовали разработки открытой модели от SberDevices, уже обученной закономерностям русского языка на материалах из сети, рассказывает Виктория Литвинова.

В процессе обучения искусственного интеллекта использовались сценарии других сериалов телеканала. Результат оказался неожиданным для всех. «Мы искренне верили, что это будет просто перифраз какого-нибудь сериала типа «Воронины», — рассказывает Роман. Но машина настолько по-своему воспринимает морфемы человеческого языка, что шутки и целые сцены получались уникальными, иногда даже абсурдными с человеческой точки зрения, говорит он.

Взять хотя бы сцену с бывшим президентом СССР Михаилом Горбачевым. Поскольку нейросеть обучалась на множестве ранее снятых ситкомах, она была знакома с героями многих известных сериалов. В одной из серий ситкома «Воронины» персонаж Николай Петрович рассуждает о Михаиле Горбачеве. Нейросеть переработала эту сцену и выдала свою версию: семья Сидоровых сидит на диване и оплакивает Михаила Горбачева, который, якобы, погиб. Вдруг раздается стук в дверь. Появляется Горбачев собственной персоной: он принёс Сидоровым продукты для приготовления окрошки. В конце сцены семья увлеченно готовит окрошку вместе с бывшим президентом страны.

В финальный монтаж сериала эта сцена не вошла из-за своей абсурдности, туда попали более понятные и логичные сцены, рассказывает Роман. Сам продукт, с его точки зрения, получился хорошим: он прост и понятен, как любой ситком, в нём всё шаблонно и множество клише наклеены друг на друга — семейство варит щи-борщи и обсуждает рыбалку. Однако при этом в ситкоме присутствуют уникальные ситуации и шутки, которые никогда не написал бы сценарист-человек: они слишком неожиданны и не подчиняются обычной логике.

Нейросеть — ученица

Чтобы добиться такого результата, разработчикам пришлось немало потрудиться. Например, был придуман специальный интерфейс для работы сценариста с машиной. На нём высвечивается текстовое поле, где сценарист-человек может писать текст совместно с нейросетью: человек вводит основные параметры сцены, начинает диалог, а нейросеть его продолжает. Если человеку что-то не нравится или он хочет дополнить написанный искусственным интеллектом текст, он нажимает кнопку «стереть», даёт нейросети новые подсказки, направляет её «мысль» в другую сторону и перезаписывает диалог.

Поскольку нейросеть должна была уметь работать с текстом сценария, её обучили синтаксису. Владимир Ларькин и Вадим Поволоцкий создали шесть алгоритмов, которые включали ремарки, описания действий, уточнения информации, где и что происходит. «В синтаксис сценария мы, например, заложили сведения о том, где, в каком часовом поясе и в какое время суток происходит действие той или иной сцены и даже, как в этом пространстве расположена мебель», — рассказывает Виктория.

По её словам, это нужно было указать, чтобы машина понимала последовательность съёмок в сценарии. «Сцены в ситкоме могут сниматься в отрыве друг от друга. Но в алгоритмах важно было выделить, что конкретная сцена происходит именно в этих декорациях и именно в это время. На выходе это позволяло получать от нейросети текст, максимально приближенный к привычным в индустрии сценариям», — уточняет она.

Далее нейросети «скормили» огромное количество сценариев предыдущих лет. Среди них — скрипты нашумевших сериалов «Восьмидесятые», «Родком», «Воронины», «Дылды». По словам Виктории, разработчики предварительно изучили тексты и выбрали похожие по синтаксическому строению.

Всего в нейросеть загрузили около тысячи страниц, предварительно разметив их с помощью HTML-разметки. «Искусственный интеллект в отличие от нас не воспринимает обычный текст в программе Word. Поэтому мы использовали синтаксические конструкторы: время действия, ремарки, реплики. Все это было заложено в HTML-верстку, и все было размечено так, чтобы нейросеть понимала, что к чему относится. Фактически мы превратили множество сценариев, написанных людьми, в прикладные скрипты для нейросети», — объясняет Виктория.

Если же в сценариях встречалась информация, которую нейросети сложно усвоить, люди её просто удаляли. Среди деталей, которые пошли «под нож», Виктория называет пояснения, какие камеры где используются, и где нужны крупные планы, а где средние. Чтобы машина не запуталась, из датасета были удалены также сценарии других жанров. Например, были изъяты все комедии.

Слова и цифры

Наконец нейросеть надо было познакомить с персонажами нового ситкома и прописать реплики, которые могут быть присущи тому или иному герою, рассказывает Виктория. Всё это тоже было включено в скрипт с определёнными параметрами, по которым нейросеть может «прочитать» текст.

Нейросеть видит каждое слово как набор цифр, и этот набор неслучаен, объясняет Татьяна Шаврина, специалист по компьютерной лингвистике и большим языковым моделям, не так давно защитившая диссертацию в НИУ ВШЭ. «В любом языке есть вероятностные связи, например, когда мы говорим “проливной”, следующее слово, скорее всего, будет “дождь”», — поясняет она. Нейросеть — вероятностная модель, и она хорошо выучивает подобные закономерности». Более того, машина может понять стилистические и жанровые особенности повествования, отличить текст одного автора от текста другого, выбрать нужную лексику.

По словам Татьяны Шавриной, более или менее длинные осмысленные тексты из 500 слов нейросети начали писать в 2020 году после появления GPT-3. Сейчас технологии шагнули ещё дальше: модель GPT-4 может написать большое сочинение на заданную тему (она обрабатывает до 25 000 слов текста). А сценарий и вовсе не представляет для неё большой сложности, поскольку это сжатое повествование того, что происходит, последовательности событий, взаимосвязанных между собой.

В сценарии сериала «Сидоровы» нейросеть помимо слов и реплик людей генерирует ещё и эмоциональные отбивки: здесь актёр должен улыбнуться, здесь он загрустил, здесь повысил голос, рассказывает Виктория Литвинова. Тем не менее, продолжает она, в какой-то момент стало понятно, что текст всё равно суховат, в него надо добавить живости и эмоций. «Мы доделывали архитектуру: дорабатывали синтаксический алгоритм по репликам и взаимодействиям диалогов. А ещё загрузили в машину побольше сценариев. Ведь нейросеть как человек: ей тоже надо расширять кругозор», — рассказывает Виктория.

Кроме того, пришлось нестандартно выстраивать съёмочный процесс, вспоминает Роман Брызгалов. Каждая сцена репетировалась прямо на съёмочной площадке. Некоторые фразы, написанные нейросетью, актеры поначалу не хотели произносить: слишком неестественно те звучали. Однако режиссёр и сценарная группа неоднократно напоминали актерам, что все они — участники большого эксперимента, а значит, в написанном машиной сценарии ничего менять нельзя. В результате актёры, не изменив ни слова, обыгрывали любые странные фразы — с помощью мимики и движений придавали им смысл и только после съёмок, когда камера выключалась, шутили по поводу необычных реплик, которые пришлось произносить в кадре.

Надежды и сомнения

В мире кино и театра много скептиков, которые считают, что машина никогда не заменит человека в творческом процессе. Её можно обучить описывать чувства людей, но она никогда не научится сама чувствовать, говорит, например, актёр и режиссёр Игорь Савкин. Иными словами, машина, возможно, сможет описать любовь как уважение, стремление к пониманию, обожание, но она так и не поймёт самой сути любви. Понять и почувствовать смогут только живые люди — актёр и режиссёр. И только живые люди смогут донести свое понимание любви до зрителя.

Никто и не предполагает, что нейросеть смогла бы заменить сценариста, но она стала бы для него хорошим прикладным инструментом в решении повседневных задач, парирует Роман Брызгалов. По его мнению, новые технологии нужны отнюдь не для того, чтобы «рисовать странные новые миры». Их задача создавать хорошо продающийся, крепкий профессиональный продукт с простым и понятным сюжетом и, в конечном счёте, помогать съёмочной группе получить хороший результат.

C Брызгаловым частично согласен и президент Гильдии кинодраматургов Союза кинематографистов России Алексей Алешковский. По его мнению, при правильном программировании ИИ мог бы стать хорошим подспорьем для киноиндустрии: он мог бы делать большое количество подготовительной работы, помогать с разными исследованиями в области кино, структурированием киноисторий, разработкой календарно-постановочных планов. Но в творческой работе он человека не заменит, замечает Алешковский. Кино работает напрямую с эмоциями, которые вызываются не примитивными схемами, а воздействием изображения, света и тени, культурными кодами, контекстом, юмором, сочетанием действия, музыки и диалогов, то есть всем, что машине, с точки зрения Алешковского, пока не под силу.

Брызгалов, тем не менее, верит в положительный исход эксперимента с нейросетью-сценаристом. «Я надеюсь, что широкий зритель воспримет новый ситком как очередной сериал нашего канала. Если с помощью технологий мы добьёмся того же, что добивается обычная сценарная группа, я буду считать это большим успехом», — говорит он.
IQ

 

Автор текста: Мария Подцероб

Автор текста: Кузнецов Даниил Александрович, 20 октября, 2023 г.