Adobe представляє нові інструменти генеративного ШІ для кіновиробництва, які пропонують цікаві способи створення звукових ефектів та контролю над відео-ресурсами. Поряд з традиційними текстовими запитами, які зазвичай дозволяють описати, що зробити або змінити за допомогою AI-моделей Adobe Firefly, користувачі тепер можуть використовувати голосові записи, подібні до ономатопеї, для генерації унікальних звуків і застосовувати референсні відео для керування рухами у відеозаписах, створених Firefly.

Інструмент генерації звукових ефектів, що запускається в бета-версії в додатку Firefly, може використовуватися з записаними та згенерованими відео, і надає більший контроль над створенням звуку, ніж відеоінструмент Veo 3 від Google. Інтерфейс нагадує часову шкалу відеоредактора і дозволяє користувачам синхронізувати створені ефекти з завантаженими матеріалами. Наприклад, користувач може відтворювати відео, де кінь йде дорогою, і одночасно записувати звуки «кліп-клоп», синхронізуючи їх із кроками копит, поряд з текстовим описом, що говорить «копита на бетоні». Інструмент тоді генерує чотири варіанти звукових ефектів на вибір.

Цей розвиток є продовженням експерименту Project Super Sonic, який Adobe продемонструвала на заході Max у жовтні. Хоча його не можна використовувати для мовлення, він підтримує створення звуків ударів, таких як тріскання гілок, кроки, звуки змійок і інші, а також атмосферні шуми, як-от звуки природи та міський фон.

Також до генератора тексту у відео Firefly додаються нові вдосконалені функції. Composition Reference дозволяє користувачам завантажувати відео разом із їх текстовим запитом, щоб відтворити композицію цього матеріалу у створеному відео, що має полегшити досягнення конкретних результатів в порівнянні з постійним введенням лише текстових описів. Функція ключового кадру дозволяє користувачам вирізати та завантажувати зображення першого та останнього кадрів, які Firefly може використовувати для генерації відео між ними, а нові стильові пресети пропонують вибір візуальних стилів, які користувачі можуть швидко обирати, включаючи аніме, векторне мистецтво, тейколяцію та інші.

Ці стильові пресети доступні лише для використання з власною відео AI-моделлю Firefly. Результати можуть залишати бажати кращого, якщо врахувати демонстрацію, яку я бачив — варіант «тейколяція» просто виглядав як рання 3D-анімація 2000-х років. Проте Adobe продовжує додавати підтримку конкурентних AI-моделей у свої інструменти, і керівник генеративного ШІ компанії Александру Костін зазначив, що подібні контролі та пресети можуть бути доступні для використання з AI-моделями третіх сторін у майбутньому. Це свідчить про те, що Adobe прагне зберегти свою позицію на вершині ринку програмного забезпечення для креативної роботи, незважаючи на те, що вона відстає від OpenAI і Google у самих генеративних моделях.