Netflix представила ШІ-модель VOID для видалення об’єктів із відео
- Netflix анонсувала модель VOID для видалення об’єктів та їхніх слідів із відео.
- ШІ враховує фізичні взаємодії, як-от зіткнення, тіні, відблиски та рух фону.
- Система дозволяє змінювати сюжет, прибираючи наслідки контактів між об’єктами.
- Проєкт має відкритий код і вже доступний для тестування на Hugging Face.
Netflix представила модель штучного інтелекту VOID (Video Object and Interaction Deletion), яка призначена для видалення об’єктів із відео разом із їхніми візуальними та фізичними слідами. Розробка дозволяє прибирати елементи з кадру та природно відновлювати фон навіть у випадках складних фізичних взаємодій.
На відміну від аналогів, які часто видають неправдоподібні результати при видаленні об’єктів, що контактують з оточенням, VOID враховує наслідки зіткнень, тіні та відблиски. Проєкт був розроблений дослідниками Netflix у співпраці з Софійським університетом Святого Климента Охридського.
Для навчання моделі використали спеціально створений парний набір даних. Він базується на синтетичній інформації з проєктів Kubric від Google та HUMOTO від Adobe, де видалення об’єкта потребує коригування подальшої фізичної логіки сцени.
VOID дозволяє змінювати перебіг подій у відео. Зокрема, у сцені зіткнення двох транспортних засобів система може прибрати один із них, скоригувавши рух іншого так, ніби удару не відбулося. Іншим прикладом є видалення окремих елементів у ланцюговій реакції доміно, що повністю змінює фінальну сцену.
Нова модель має відкритий код. Ознайомитися з її роботою можна на платформі Hugging Face.
