Microsoft представила Phi-3 Mini – це легкий ШІ, який може працювати на смартфонах
Компанія Microsoft представила свою останню модель легкого штучного інтелекту під назвою Phi-3 Mini, призначену для роботи на смартфонах та інших локальних пристроях, про це повідомляє Engadget. Навчена на 3,8 мільярда параметрів, це перша з трьох невеликих мовних моделей Phi-3, які компанія випустить найближчим часом. Мета полягає в тому, щоб забезпечити дешевшу альтернативу хмарним LLM, що дозволить меншим організаціям впроваджувати ШІ.
За словами Microsoft, нова модель значно перевершує попередню малу модель Phi-2 і не поступається більшим моделям, таким як Llama 2. Фактично, компанія заявляє, що Phi-3 Mini забезпечує відповіді, близькі до рівня моделі, яка в 10 разів більша за неї за розміром.
“Інновація повністю полягає в нашому наборі даних для навчання”, – йдеться в дослідницькій статті. Цей набір даних базується на моделі Phi-2, але використовує “сильно відфільтровані вебдані та синтетичні дані”, стверджує команда. Насправді окремий LLM був використаний для виконання обох цих завдань, фактично створюючи нові дані, які дозволяють меншій мовній моделі бути більш ефективною. Як повідомляє The Verge, на створення цієї моделі команду надихнули дитячі книжки, які використовують простішу мову для розкриття складних тем.
Хоча Phi-3 Mini все ще не може досягти результатів хмарних LLM, вона може перевершити Phi-2 та інші малі мовні моделі (Mistral, Gemma, Llama-3-In) у виконанні завдань від математики до програмування та академічних тестів. Водночас він працює на таких простих пристроях, як смартфони, і не потребує підключення до інтернету.
Основним обмеженням Phi-3 Mini є широта “фактичних знань” через менший розмір набору даних – ось чому вона не дуже добре показує себе в тесті “TriviaQA”. Тим не менш, цей легкий ШІ повинен бути хорошим для таких моделей, які потребують лише невеликих внутрішніх наборів даних. Microsoft сподівається, що це дозволить компаніям, які не можуть дозволити собі хмарні LLM, перейти на ШІ.
Phi-3 Mini вже доступний на Azure, Hugging Face та Ollama. Далі Microsoft планує випустити Phi-3 Small і Phi-3 Medium зі значно більшими можливостями (7 мільярдів і 14 мільярдів параметрів відповідно).