World Labs запустила Marble: перша комерційна ШІ-модель для створення та редагування 3D-світів за допомогою тексту та зображень
- World Labs (Фей-Фей Лі) запустила Marble — свою першу комерційну світову ШІ-модель, що генерує редаговані 3D-середовища з тексту, фотографій та відео.
- На відміну від конкурентів, Marble створює постійні, завантажувані світи (у форматах мешів/Gaussian splats), що забезпечує більшу послідовність.
- Серед нових функцій: 3D-редактор Chisel для задання просторової структури та функція «розширення світу» для додавання деталей.
- Marble вже сумісний із гарнітурами Vision Pro та Quest 3, і має потенціал для геймінгу, VFX та робототехніки.
- Модель доступна за підписками, ціна стартує від $20 на місяць.
Компанія World Labs, заснована піонеркою у сфері штучного інтелекту Фей-Фей Лі, запускає свій перший комерційний продукт — світову модель Marble. Цей інструмент, що тепер доступний за freemium та платними підписками, дозволяє користувачам перетворювати текстові запити, фотографії, відео, 3D-макети чи панорами на редаговані та завантажувані 3D-середовища.
Запуск генеративної світової моделі, попередній перегляд якої відбувся два місяці тому, стався трохи більше ніж через рік після того, як World Labs вийшла з режиму інкогніто з фінансуванням у розмірі 230 мільйонів доларів. Це ставить стартап попереду конкурентів, які також розробляють світові моделі (ШІ-системи, що генерують внутрішнє представлення середовища для прогнозування та планування дій).
На відміну від демонстраційних моделей, випущених стартапами Decart та Odyssey, або обмеженого попереднього перегляду Genie від Google, Marble створює постійні, завантажувані 3D-середовища, а не генерує світи «на ходу» (on-the-fly). Це, за словами компанії, зменшує морфінг та непослідовність, а також дозволяє користувачам експортувати світи у форматах Gaussian splats, мешів або відео.
Marble є першою моделлю такого роду, що пропонує ШІ-нативні інструменти редагування та гібридний 3D-редактор, який дозволяє користувачам задавати просторові структури перед тим, як ШІ заповнить візуальні деталі.
Співзасновник World Labs Джастін Джонсон наголосив, що однією з головних тем для Marble є «творчий контроль». Він вважає, що користувачі повинні мати можливість швидко генерувати об’єкти за допомогою промта, але також мати глибокий контроль над тим, що вони створюють.
Гнучкість вхідних даних є частиною цього контролю. Якщо бета-версія приймала лише поодинокі зображення, змушуючи модель вигадувати відсутні деталі для 360-градусного огляду, то тепер користувачі можуть завантажувати кілька зображень або короткі кліпи, щоб показати простір із різних кутів. Це дозволяє моделі генерувати досить реалістичні цифрові двійники.
Серед нових функцій:
- Chisel (Експериментальний 3D-редактор): Дозволяє користувачам створювати грубі просторові макети (наприклад, стіни, коробки, площини), а потім додавати текстові промти, щоб керувати візуальним стилем. Marble генерує світ, відділяючи структуру від стилю. Chisel також дозволяє безпосередньо маніпулювати об’єктами (наприклад, «взяти 3D-блок, що представляє диван, і перемістити його в інше місце»).
- Розширення світу: Користувач може одноразово розширити згенерований світ. Якщо частина світу починає «руйнуватися», модель може згенерувати більше деталей у цій ділянці.
- Composer mode: Дозволяє об’єднувати кілька окремих світів для створення надзвичайно великих просторів.
Marble доступний за чотирма рівнями передплати: Free (чотири генерації з тексту, зображення або панорами), Standard ($20/місяць, 12 генерацій, мульти-ввід та розширене редагування), Pro ($35/місяць, 25 генерацій, розширення сцени та комерційні права) і Max ($95/місяць, всі функції та 75 генерацій).
Джонсон вважає, що основними сферами використання Marble стануть геймінг, візуальні ефекти (VFX) для кіно та віртуальна реальність (VR). Для розробників ігор Marble може генерувати фонові середовища та об’єкти, які потім імпортуються в ігрові рушії, як-от Unity або Unreal Engine, для додавання інтерактивних елементів. Для VFX Marble усуває проблеми з непослідовністю та поганим керуванням камерою, які притаманні ШІ-відеогенераторам.
Модель вже сумісна з VR-гарнітурами Vision Pro та Quest 3. Фей-Фей Лі у своєму маніфесті зазначила, що Marble є першим кроком до створення «справді просторово інтелектуальної світової моделі». Вона вважає, що системи, подібні до Marble, можуть навчити машини бачити та будувати (подібно до того, як великі мовні моделі навчили їх читати та писати), що призведе до проривів не лише в іграх та робототехніці, але й у науці та медицині.
