Adobe запускає нові інструменти для генеративного AI у кінематографії, які пропонують креативні можливості для створення звукових ефектів та контролю за згенерованими відео. Окрім звичних текстових запитів, які дозволяють описувати, що повинні створити або відредагувати моделі AI Adobe Firefly, користувачі тепер можуть використовувати записи голосу, які схожі на ономатопеї, для генерації індивідуальних звуків, а також використовувати зразкові відеоматеріали для керування рухами у згенерованих відео.

Інструмент для генерації звукових ефектів

Інструмент Generate Sound Effects, який запускається у бета-версії в додатку Firefly, може використовуватися з записаними і згенерованими відео, надаючи більше контролю над звуковою генерацією, ніж інструмент відеомонтажу Veo 3 від Google. Інтерфейс нагадує часову лінію редагування відео, що дозволяє користувачам синхронізувати створені звукові ефекти з завантаженими матеріалами. Наприклад, під час перегляду відео, де кінь йде дорогою, користувач може одночасно записати звуки «тук-тук» у такт його крокам, додаючи текстовий опис «копита на асфальті». Інструмент потім згенерує чотири варіанти звукових ефектів на вибір.

Розширені можливості генератора Text-to-Video

Також з’являться нові розширені функції в генераторі Text-to-Video Firefly. Функція Composition Reference дозволяє користувачам завантажувати відео разом із текстовим запитом, щоб повторити композицію цього матеріалу у згенерованому відео, що спростить досягнення конкретних результатів у порівнянні із повторним введенням лише текстових описів. Функція Keyframe cropping дозволяє користувачам обрізати і завантажувати зображення з першими та останніми кадрами, які Firefly може використовувати для генерації відео між ними. Нові стилістичні пресети пропонують вибір візуальних стилів, які користувачі можуть швидко обрати, включаючи аніме, векторне мистецтво, пластилінову анімацію тощо.

Обмеження стилістичнихpresetів

Ці стилістичні пресети можуть бути використані тільки з власною моделлю відео AI Firefly Adobe. Результати можуть потребувати вдосконалення, якщо судити за живою демонстрацією, яку я бачив — опція «пластилінової анімації» виглядала, як анімація початку 2000-х. Проте Adobe продовжує додавати підтримку конкурентних AI моделей у своїх інструментах. Керівник генеративного AI в Adobe, Александру Костін, зазначив, що аналогічні контролі та пресети можуть з’явитися у майбутньому для використання з моделями третьої сторони. Це вказує на прагнення Adobe зберегти лідируючі позиції у світі програмного забезпечення для творчості у міру зростання популярності AI-інструментів, навіть якщо на даний момент вона відстає від таких компаній, як OpenAI та Google у розробці генеративних моделей.