VideoGigaGAN: новітня технологія від Adobe, що використовує ШІ для підвищення різкості відео
Дослідники Adobe розробили нову генеративну модель штучного інтелекту під назвою VideoGigaGAN, яка може підвищувати роздільну здатність розмитих відео в 8 разів від їхньої початкової роздільної здатності. В статті, опублікованій 18 квітня, Adobe стверджує, що VideoGigaGAN перевершує інші методи відеопідвищення роздільності (VSR), оскільки може надавати більше дрібнозернистої деталізації без введення будь-якого “дивацтва штучного інтелекту” в кадри. Про це повідомляє The Verge.
У кінцевому результаті Генеративні антагоністичні мережі (GAN) ефективні для масштабування статичних зображень до вищої роздільної здатності, але мають проблеми з тим самим для відео без введення мерехтіння та інших небажаних артефактів. Інші методи масштабування можуть уникнути цього, але результати не такі чіткі або деталізовані. VideoGigaGAN має на меті надати краще з обох світів – вищу якість зображень/відео моделей GAN, з меншим мерехтінням або спотворенням кадрів на виході. Компанія надала кілька прикладів тут, які показують їхню роботу в повній роздільній здатності.
Деякі дрібні деталі в демонстраційних відеороликах, які надавала Adobe, здаються цілком штучними, такими як текстура шкіри та складки на прикладі вище, але результати виглядають вражаюче природними. Було б складно зрозуміти, що для підвищення роздільності використовувався генеративний штучний інтелект, що може розширити дискусію “що таке фотографія”, щоб включити в себе відео.
Це лише попередній науковий погляд, тому немає гарантій, що Adobe зробить VideoGigaGAN доступним для споживачів через програмне забезпечення Creative Cloud, таке як Premiere Pro. Компанія раніше показувала окремий експеримент із розширенням на основі дифузії, Project Res-Up, під час свого заходу MAX у жовтні 2023 року, яке подібно покращує якість низькороздільних GIF-зображень і відеороликів. І Adobe не єдині в цій роботі, оскільки як Microsoft, так і Nvidia також розробили свої власні технології масштабування VSR.
