Moonvalley Marey: етичний ШІ-генератор відео для кінематографістів став публічно доступним
- AI-стартап Moonvalley відкрив публічний доступ до своєї “3D-свідомої” моделі генерації відео Marey.
- Marey пропонує “гібридний” підхід, що надає кінематографістам більше контролю, ніж стандартні текстові моделі.
- Модель, заснована колишніми дослідниками DeepMind, навчена виключно на даних з відкритою ліцензією, що є “етичним” підходом для кінематографістів.
- Marey дозволяє генерувати кліпи до п’яти секунд, пропонується за кредитною системою (від $14.99 за 100 кредитів).
- Модель Marey допомагає скоротити виробничі витрати на 20-40% та дозволяє керувати об’єктами, персонажами, рухом, композицією сцени та вільним рухом камери.
- Вона розуміє фізичний світ, дозволяючи мімікувати рух з дотриманням законів фізики.
- У найближчі місяці Moonvalley планує додати нові елементи керування, такі як освітлення, глибокі траєкторії об’єктів та бібліотеки персонажів.
- Публічний реліз Marey ставить її в конкуренцію з іншими ШІ-відеогенераторами, такими як Runway Gen-3, Luma Dream Machine, Pika та Haiper.
Команда Moonvalley — лос-анджелеського стартапу з генерації ШІ-відео — вважає, що створення фільму не зводиться лише до текстових підказок. Саме тому у вівторок компанія відкрила для публічного доступу свою “3D-свідому” модель, обіцяючи “гібридний” підхід, що надає кінематографістам більше контролю, ніж інші стандартні моделі перетворення тексту на відео.
Як повідомляє TechCrunch, Moonvalley вперше запустила свою модель під назвою Marey у бета-версії в березні, а тепер випустила її у вигляді місячної підписки на основі кредитів. Користувачі можуть платити $14,99 за 100 кредитів, $34,99 за 250 кредитів та $149,99 за 1000 кредитів. Користувачі можуть генерувати кліпи завдовжки до п’яти секунд, що відповідає галузевим стандартам для публічно доступних моделей генерації відео.
Стартап, співзасновниками якого є колишні дослідники DeepMind, які працювали над власною моделлю генерації відео Google, стверджує, що Marey є однією з небагатьох моделей, навчених виключно на даних з відкритою ліцензією. Це ідеально відповідає цільовим клієнтам Moonvalley: кінематографістам, які хочуть уникнути майбутніх судових позовів щодо ШІ-генерованого контенту, що може нагадувати матеріали, захищені авторським правом.
Незалежний кінорежисер Анхель Мануель Сото вважає, що найбільшою перевагою Marey є демократизація доступу до найкращих ШІ-інструментів для розповіді історій, особливо для людей, які довго відчували себе відстороненими від традиційного кіновиробництва. Сото розповів, що, зростаючи в Пуерто-Рико, спочатку потрібно було зібрати сотні або тисячі доларів лише на оренду камер для зйомки фільму. Він зазначив, що “раніше потрібно було просити дозволу, щоб розповісти свої історії. ШІ дає можливість робити це на власних умовах, не відмовляючись від мрій через відмову у фінансуванні, оскільки хтось вважав, що історія з вашої країни не принесе прибутку”.
За словами Сото, Marey вже допомогла йому скоротити виробничі витрати на 20-40% та працювати більш вільно. Раніше Сото співпрацював зі студією Moonvalley, Asteria, над документальним серіалом HBO “Menudo: Forever Young”. Asteria, також відома як XTR, була придбана Moonvalley цього року.
Наєм Талукдар, генеральний директор та співзасновник Moonvalley, продемонстрував, як Marey можна використовувати на етапах пре- та постпродакшну, чи то для тестування сцен перед зйомками, чи для налаштування кутів камери після зйомки, а також як вона може контролювати об’єкти, персонажів, рух та композицію сцени.
Талукдар зазначив, що Marey розуміє фізичний світ, що може призвести до більш інтерактивного оповідання історій у міру розвитку технології. Наразі таке розуміння — яке Marey поділяє з іншими моделями, такими як Google Veo 3 та все ще приватною Sora від OpenAI — дозволяє Marey імітувати рух, дотримуючись законів фізики. Наприклад, відео бізона, що мчить по траві, можна перетворити на Cadillac, що мчить у тому ж середовищі, при цьому трава та бруд реагуватимуть на рух автомобіля. Або Marey може накласти персонажа, схожого на Джорджа Вашингтона, на актора, перекладаючи все від рухів обличчя актора до м’язів його передпліч, коли він жестикулює.
Можливо, більш унікальною є підтримка Marey вільного руху камери. Талукдар показав, як можна змінювати траєкторію камери за допомогою миші: він інтегрував панорамування та слайд-зум у відео жінки в потязі в Скелястих горах, просто перетягуючи курсор. Він також зазначив, що Marey може досягти майже 360-градусного руху камери та виконувати інструкції для створення відео, нібито знятого ручною камерою або візком.
Marey також може змінювати фон відео, дозволяючи кінематографістам починати з вихідного матеріалу для створення потрібної сцени. Талукдар продемонстрував відео, де чоловік їде на мотоциклі по приміській дорозі, яке потім перетворилося на того ж чоловіка без шолома, що їде на трохи іншому мотоциклі по сільській трасі.
План Moonvalley на найближчі кілька місяців — випустити нові елементи керування, такі як освітлення, глибокі траєкторії об’єктів та бібліотеки персонажів, за словами Талукдара. Публічний реліз Marey ставить її в пряму конкуренцію зі зростаючим полем генераторів ШІ-відео, таких як Runway Gen-3, Luma Dream Machine, Pika та Haiper.
