Meta презентує Movie Gen: нова ера генеративного ШІ для створення відео
Meta продовжує робити великі кроки у сфері штучного інтелекту, і їхня нова розробка — Movie Gen — може стати серйозним етапом у розвитку відеостворення. Незалежно від того, чи ви захоплені можливостями генеративного ШІ, чи занепокоєні етикою та загрозами, пов’язаними з deepfake, важко заперечити, що це значний технологічний прорив.
Останні новини: Meta AI тепер може розмовляти з вами та редагувати ваші фотографії
Movie Gen — це новий генеративний ШІ від Meta, який здатний створювати реалістичні відео, музичний супровід і звукові ефекти з частотою до 24 кадрів на секунду і роздільною здатністю до 1080p. При цьому, для початкової обробки він використовує базову роздільність 768×768 пікселів, а потім масштабує до HD. Movie Gen може генерувати персоналізовані відео на основі завантажених користувачем фото та редагувати як AI-відео, так і звичайні відео за допомогою текстових команд.
Це означає, що якщо ви зняли щось на свій смартфон і хочете швидко відредагувати для Instagram, Movie Gen зробить це можливим лише кількома кліками. Водночас, Meta повідомляє, що наразі це дослідницький проєкт, і до публічного релізу ще далеко.

Movie Gen — це частина “третьої хвилі” досліджень генеративного ШІ від Meta, що слідує за такими інструментами, як Make-A-Scene і моделлю Llama. Система побудована на основі 30-мільярдного параметричного трансформера, здатного генерувати відео тривалістю 16 секунд з частотою 16 кадрів на секунду або 10 секунд із частотою 24 кадри. Також використовується аудіомодель із 13 мільярдами параметрів, що дозволяє створювати звукові ефекти, музику та інший аудіоконтент тривалістю до 45 секунд у якості 48 кГц.
Попри те, що технологія виглядає багатообіцяльною, Meta поки що не впровадила підтримку синхронізованого голосу через “дизайнерські рішення”, як зазначається в їхньому дослідницькому звіті.

Movie Gen навчали на величезному масиві даних, до якого входили як ліцензовані, так і загальнодоступні матеріали. Серед них — 100 мільйонів відео, мільярд зображень та мільйон годин аудіо. Meta не надто чітко пояснює джерела даних, що використовувались, і це може викликати додаткові питання. Компанія вже визнала, що використовувала акаунти австралійських користувачів для тренування моделей штучного інтелекту, але залишається незрозумілим, як саме це відбувається за межами її продуктів.
Хоча Meta поки не випускає Movie Gen для широкого загалу, результати A/B-тестування вражають: користувачі загалом віддають перевагу відео, створеним Movie Gen, у порівнянні з конкурентами, такими як Sora від OpenAI та Gen3 від Runway. Зображення людей, створені ШІ, виглядають досить реалістично, без типових недоліків, як-от дивні очі чи пальці.
Meta наголошує, що генеративний штучний інтелект не повинен замінювати митців і аніматорів, а має стати інструментом для вираження себе і надання можливостей тим, хто не має доступу до професійних ресурсів.
Поки незрозуміло, яким чином генеративне ШІ-відео буде використовуватись у масовому сегменті. Чи будуть наші соцмережі наповнені AI-контентом? Чи стане Movie Gen інструментом для покращення вже знятого матеріалу? Редагування фото на смартфоні вже стало буденною справою, а складніші функції ШІ для відео виглядають як наступний логічний крок.