Google DeepMind вбудовує Gemini у курсор миші
- Google DeepMind перетворює курсор миші на ШІ-асистент на базі Gemini — без текстових запитів.
- Система розпізнає контекст на екрані й виконує дії через короткі команди або жести.
- Підтримувані сценарії: резюме PDF, конвертація таблиць у діаграми, редагування коду голосом, розпізнавання об’єктів.
- Функціонал впроваджують у Chrome; анонсовано Magic Pointer для ноутбуків Googlebook.
- Експериментальні можливості доступні в Google AI Studio та платформі Disco від Google Labs.
Google DeepMind представила нову функцію, яка перетворює стандартний курсор миші на ШІ-асистент на базі моделей Gemini. Система розпізнає візуальний і семантичний контекст об’єктів на екрані та виконує операції без текстових запитів.
Технологія дає змогу взаємодіяти з нейромережею безпосередньо в робочому середовищі, не перемикаючись між вікнами застосунків. Gemini фіксує контекст навколо вказівника та реагує на короткі команди або жести.
Серед підтримуваних сценаріїв використання:
- створення резюме PDF-файлів безпосередньо в поштовому клієнті;
- конвертація числових таблиць у діаграми наведенням курсора;
- редагування блоків коду та зображень через голосові команди;
- автоматичне розпізнавання об’єктів — локацій на картах, товарів у магазинах — та їхнє перетворення на інтерактивні елементи.
Функціонал вже впроваджують у браузері Chrome. Окрім цього, розробники анонсували Magic Pointer — апаратну або програмну функцію для нової лінійки ноутбуків Googlebook, що активує Gemini одним дотиком. Експериментальні можливості курсора доступні в Google AI Studio та на дослідницькій платформі Disco від Google Labs.
