Новий інструмент Nvidia перетворює 3D-сцени на зображення з допомогою штучного інтелекту
Nvidia представила новий інструмент, який дозволяє розробникам генерувати зображення за допомогою штучного інтелекту, спершу створюючи їх у 3D-форматі. Дещо незграбно названий Nvidia AI Blueprint for 3D-guided generative AI (Проєкт Nvidia для 3D-керованого генеративного ШІ) доступний для завантаження вже сьогодні для комп’ютерів, оснащених відеокартою Nvidia RTX 4080 або потужнішою, і працює шляхом поєднання програмного забезпечення для 3D-моделювання Blender із генератором зображень FLUX.1 від Black Forest Lab.
Користувачі можуть спроєктувати сцену в Blender, використовуючи 3D-об’єкти, такі як будівлі, рослини, тварини та транспортні засоби, які потім використовуються як орієнтир для створення 2D-зображення. Ідея полягає в тому, що ручне налаштування позиції перегляду або розміщення певних об’єктів надасть більший контроль над дрібними деталями при генерації 2D-зображень порівняно з використанням лише текстових описів.
Наприклад, якщо у вас є дуже конкретний образ міста в уяві — форма та висота будівель, кількість дерев чи автомобілів, і навіть кут, під яким ви його бачите — ви можете використати робочий процес Nvidia для створення грубої версії цього в Blender. Генератор зображень FLUX.1 потім використає це як основу для створюваних зображень, що може бути менш дратівливим, ніж постійне коригування текстових описів, доки не отримаєте щось віддалено схоже на те, що ви хотіли. 3D-об’єкти, розміщені в Blender, навіть не повинні бути надто деталізованими, оскільки інструмент використовує їх лише як орієнтир для компонування.
Nvidia описує свої проєкти як “попередньо визначені, налаштовувані робочі процеси ШІ”, які розроблені для допомоги розробникам у створенні додатків генеративного штучного інтелекту. У цьому випадку Nvidia стверджує, що її AI Blueprint for 3D-guided generative AI надає покрокову документацію, зразки елементів та попередньо налаштоване середовище для супроводу користувачів у використанні інструменту.
Робочий процес не є цілком унікальним — Adobe анонсувала подібний інструмент під час своєї події MAX у жовтні під назвою “Project Concept”, який також дозволяє користувачам створювати 3D-сцени, що можуть використовуватися для керування генерацією зображень. Однак варіант від Adobe все ще перебуває на експериментальній стадії та може ніколи не бути випущеним для широкого загалу.
