Lumiere від Google революціонізує створення відео зі штучним інтелектом
Google виводить редагування відео на новий рівень за допомогою своєї нової моделі штучного інтелекту, Lumiere. Використовуючи прогресивний метод Space-Time-U-Net (STUNet), Lumiere створює вражаючі відеоряди без необхідності об’єднувати окремі кадри. Про це повідомляє The Verge.
STUNet визначає місце об’єктів у відео (простір) та їх рух і зміни (час). Це дозволяє Lumiere генерувати відео одним потоком, уникнувши збору окремих кадрів. Такий підхід робить рух на екрані плавним та безперервним.
Процес роботи Lumiere починається з базового кадру, створеного з підказки. Застосовуючи STUNet, система наближено визначає майбутні рухи об’єктів, створюючи послідовні кадри, які перетікають один в одного. В результаті Lumiere генерує 80 кадрів, порівняно з 25 кадрами від конкурентів, таких як Stable Video Diffusion.
Хоча деякі елементи відео можуть залишати враження штучності, важливо відзначити значущий прогрес. Lumiere здатний створювати дуже реалістичні візуальні ефекти, які, за словами професіоналів, навіть ускладнюють розрізнення між справжнім і штучним.
Цей інноваційний інструмент також відкриває можливості для створення стилізованих відео, кінематографічних ефектів та зафарбовування для кращого редагування та творчості.
Хоча нова технологія ще не готова для тестування, її потенціал вже вражає світ редагування відео. Цей крок Google у напрямку більш реалістичного та творчого штучного інтелекту обіцяє революціонізувати підхід до відеоредагування.
Важливо врахувати потенційний ризик використання технології для створення фальшивого контенту. Google визнає цей ризик і зобов’язується розробляти та впроваджувати інструменти виявлення упередженості та зловживання для забезпечення безпеки та чесного використання технології.
