Digital

27.02.2024 15:22:33
Digital

Кот-король, гигантская утка в Бостоне и гонка дронов: как разработчики и руководители OpenAI генерируют видео в Sora

Недавно OpenAI представила нейросеть Sora — инструмент, который использует ИИ для создания роликов на основе текстового описания. Технология позволяет генерировать сложные сцены с несколькими персонажами и точной детализацией. За последние несколько дней на страницах представителей OpenAI были выложены видео, сделанные с помощью Sora, AdIndex собрал обзор таких роликов

Креативы по запросам подписчиков 

Сэм Альтман, глава OpenAI, предложил пользователям соцсети X (бывшийTwitter) написать подсказки для Sora, на основе которых он будет генерироватьвидео, чтобы показать возможности ИИ-модели. Результатами он поделился на своейстранице. 

Sora сгенерировала видео разных жанров — от бытовой зарисовки сприготовлением еды до гонок на другой планете.

Промт: Учебное занятие по приготовлению домашних ньокки, проводимоепожилой женщиной инфлюенсером в соцсетях на деревенской тосканской кухне скинематографическим освещением.

Промт: футуристическая гонка дронов на закате на планете Марс.

Нейросеть в кино и играх

Другие возможности технологии раскрыл Тим Брукс, член команды разработчиковOpenAI и ученый-исследователь. Он показал, как нейросеть может имитироватьигровой мир, создав короткую симуляцию геймплея Minecraft — с реалистичнымосвещением, интерфейсом и физикой из игры студии Mojang.

«Sora также может моделировать искусственные процессы – одним из примеровявляются видеоигры», — говорится встатье OpenAI. В компании отметили, что нейросеть способнаодновременно управлять виртуальным игроком в Minecraft, а также генерироватьгеймплей.

Кроме того, Sora может генерировать сцены из фильмов. Раньше другиенейросети создавали короткие видео с одним сюжетом, однако Sora научиласьвоспроизводить историю из связных между собой роликов. Они выглядят так, будтосняты с нескольких ракурсов на одной и той же улице.

Пример такого ролика привел Уильям Пиблз, разработчик OpenAI. Он выложилвидео, в котором экран разбит на пять частей — каждая из них показывает сценына заданную тему с разных ракурсов. Пиблз уточнил, что ролик не былсмонитрован: «Мы не склеивали это видео. Sora сама решила, что ей нужно пятьразных ракурсов одновременно!».

Пиблз также сгенерировал видео, ставшее вирусным, — огромного кошачьегокороля, которому поклоняются люди. 

Промт: гигантский собор полностью заполнен кошками. Везде кошки, куда ниглянь. Мужчина входит в собор и кланяется гигантскому кошачьему королю,восседающему на троне. 

Неоновый ИИ

Некоторые разработчики составляли более эстетичные описания для роликов.Например, Тим Брукс и Адитья Рамеш выложили на своих страницах видео сразличной флорой и фауной в неоновом стиле. 

Промт: черепаха, тело которой сделано из стекла, с трещинами, заделаннымис помощью кинцуги, гуляет на закате по пляжу с черным песком.

Промт: темный неоновый тропический лес с сияющей фантастической фауной иживотными.

Недочеты нейросети

Тем не менее, несмотря на инновационную разработку, у нейросети еще естьзаметные недостатки. Это отмечает и сам глава OpenAI – Сэм Альтман. На одном изроликов, что для него сгенерировала Sora, хомяк летит на полуутке-полудраконе —в этом видео возникла проблема с направлением: герои перемещаются задомнаперед. После первого неудачного эксперимента Альтман выложил второй, указал,что он должен быть «получше».

Промт: наполовину утка, наполовину дракон летит через красный закат схомяком, одетым в приключенческое снаряжение на спине.

1 вариант:

2 вариант:

В другом видеоролике, где морские животные устроили заезд по морю навелосипедах, подписчики в комментариях отметили, что некоторые водоплавающиенарушают правила и перемещаются не на транспорте, а два дельфина и вовсе парятв воздухе.

Промт: велогонка по океану с участием разных животных в виде спортсменов,едущих на велосипедах под видом камеры дрона.

В сгенерированном видео, которое выложил Тим Брукс, гигантская игрушечнаяутка гуляет по улице Бостона. В ролике остаются неизменными предметы на заднемплане, когда перед ними перемещается объект, но есть нюанс — утка наступила начеловека, переходившего дорогу.

Промт: гигантская утка гуляет по улицам Бостона.

На своей странице в X Адитья Рамеш, разработчик Sora, поделился роликом, накотором рак с лампочкой вместо панциря перемещается по вечернему пляжу. Нонейросеть сделала ошибку: у животного не хватает одной клешни.

Промт: ночные кадры рака-отшельника, использующего лампочку накаливания вкачестве панциря.

Впрочем, российские рекламисты убеждены, что даже с учетом текущихограничений Sora будет полезна в работе на этапе презентации идей, а в будущемтехнология имеет все шансы повлиять не только на генерацию роликов, но и напроцесс закупки, размещения и автоматизации рекламы. Подробнее об этом вматериале AdIndex«Sora — видеореволюция или новая “игрушка” для креативщиков:как российские рекламисты оценили технологию».

Автор: Pupkin

Источник: ria novosti