Microsoft створила надшвидку ШІ-модель, яка працює без відеокарти — прямо на процесорі
Microsoft представила BitNet b1.58 2B4T — наймасштабнішу 1-бітну ШІ-модель, яка працює на CPU, швидша за аналоги й ефективніша за споживанням памʼяті. Проте максимальна продуктивність можлива лише зі спеціальним фреймворком і не підтримує GPU.
У Microsoft заявили про розробку найбільш масштабної 1-бітної ШІ-моделі, відомої як BitNet b1.58 2B4T. Унікальність цієї моделі не лише в її ефективності, а й у тому, що вона працює напряму на центральному процесорі (CPU) — навіть на Apple M2 — без потреби у відеокарті. Розробку опубліковано з відкритим кодом за ліцензією MIT.
Так звані «бітнети» — це стиснені версії ШІ-моделей, які спеціально оптимізовані для роботи на легкому обладнанні. Вони використовують лише три значення ваг: -1, 0 і 1. Це дозволяє суттєво зменшити обсяг памʼяті, потрібної для запуску, і підвищити швидкість виконання.
BitNet b1.58 2B4T має 2 мільярди параметрів — уперше така модель з 1-бітною структурою досягла такого масштабу. Вона була навчена на 4 трильйонах токенів, що приблизно дорівнює вмісту 33 мільйонів книжок. І при цьому, за словами дослідників, вона перевершує за якістю аналогічні моделі інших компаній.
На тестах BitNet обійшла Meta Llama 3.2 1B, Google Gemma 3 1B та Alibaba Qwen 2.5 1.5B за такими бенчмарками, як GSM8K (математика початкового рівня) і PIQA (оцінка здорового глузду у фізичних ситуаціях).
Особливо вражає швидкість моделі — в окремих випадках вона вдвічі швидша за конкурентів того ж розміру, споживаючи при цьому набагато менше памʼяті.
Але є і важлива умова: максимальна ефективність досягається лише при використанні фреймворку Microsoft — bitnet.cpp, який працює не з усім залізом. Наприклад, GPU не підтримуються, хоча саме вони домінують в інфраструктурі ШІ.
Тож хоча такі моделі можуть стати проривом для пристроїв з обмеженими ресурсами, сумісність залишається головною перешкодою.
