Adobe презентує нові інструменти для створення фільмів з використанням генеративного штучного інтелекту, які пропонують цікаві способи створення звукових ефектів та контролю генерації відео. Поряд з традиційними текстовими запитами, що дозволяють описувати, що саме потрібно створити чи змінити за допомогою моделей штучного інтелекту Firefly, користувачі тепер можуть використовувати звукові записи, схожі на ономатопею, щоб створювати унікальні звуки та використовувати зразки відео для управління рухами у відео, згенерованих Firefly.

Інструмент генерації звукових ефектів

Запущений у бета-версії інструмент генерації звукових ефектів у додатку Firefly може використовуватися з записаними та згенерованими відео, надаючи більше контролю над створенням аудіо, ніж аналогічний інструмент Google Veo 3. Інтерфейс нагадує часову шкалу редагування відео, що дозволяє користувачам синхронізувати створені звуки з завантаженим відео. Наприклад, користувач може відтворити відео, на якому кінь йде дорогою, і одночасно записувати звуки «цокання» в ритмі його копит, підкріплюючи це текстовим описом «копита на бетоні». Інструмент потім створить чотири варіанти звукових ефектів на вибір.

Розширені можливості

Це продовження експерименту Project Super Sonic, який Adobe демонструвала на заході Max у жовтні. Хоча цей інструмент не працює для генерації мови, він підтримує створення звуків удару, таких як тріск гілок, кроки, звуки зіперів тощо, а також атмосферних шумів, як-от звуки природи та міське оточення.

Також у генераторі Text-to-Video Firefly з’являться нові розширені налаштування. Функція Composition Reference дозволить користувачам завантажувати відео разом із текстовим запитом, щоб зобразити композицію завантаженого матеріалу у згенерованому відео, що має полегшити досягнення конкретних результатів без повторного введення текстових описів. Кадрування ключових кадрів надасть можливість вирізати та завантажувати зображення першого та останнього кадрів, які Firefly зможе використовувати для створення відео між ними, а також нові стилі дозволять вибирати з набору візуальних стилів, включаючи аніме, векторну графіку, стоп-моушн тощо.

Ці стилі можуть бути використані виключно з моделлю штучного інтелекту Firefly від Adobe. Якщо вірити результатам живої демонстрації, яку я бачив, варіант «стоп-моушн» виглядав як рання 3D-анімація 2000-х років. Однак Adobe продовжує додавати підтримку конкурентних моделей на основі штучного інтелекту у своїх інструментах. Головний спеціаліст Adobe з генеративного штучного інтелекту Олександр Костін зазначив, що подібні контролі та стилі можуть бути доступні для використання з моделями третьої сторони в майбутньому. Це свідчить про намір Adobe зберегти позиції лідера у сегменті програмного забезпечення для креативних професій, попри те, що компанія відстає від OpenAI та Google у розвитку генеративних моделей.