PrismML впроваджує свої мініатюрні LLM у розумні окуляри на базі Qualcomm

Лабораторія штучного інтелекту PrismML, заснована дослідниками з Каліфорнійського технологічного інституту, представила версію своєї 1-бітної LLM Bonsai, оптимізовану для локальної роботи на інтелектуальних пристроях. Ця модель була продемонстрована на чипах Qualcomm Snapdragon AR1 Gen 1 Platform під час саміту Snapdragon.

Ключова особливість розробки PrismML полягає у значному зменшенні розміру великих мовних моделей, зберігаючи при цьому майже повну продуктивність. У випадку з Bonsai для розумних окулярів, модель зі скороченням у чотири рази має 2 мільярди параметрів та налаштована для обробки візуальної та мовної інформації. Це дозволяє користувачам отримувати відповіді на запитання про об'єкти, на які вони дивляться, у реальному часі.

Стратегічна мета PrismML — просувати відкриті моделі ШІ, які функціонують безпосередньо на пристроях. Це забезпечує ефективніше використання обчислювальних потужностей пристроїв та пропонує альтернативу залежності від пропрієтарних рішень, що вимагають значних обчислювальних ресурсів.

Впровадження моделі для чипів Qualcomm є кроком до реалізації цього бачення, оскільки розширює можливості локального оброблення даних. Хоча конкретні моделі розумних окулярів з інтеграцією PrismML наразі не анонсовані, така співпраця вказує на потенціал розширення функціональності периферійних пристроїв.

Що це означає: Розробка PrismML відкриває нові перспективи для децентралізованого використання штучного інтелекту в пристроях Edge AI. Це може знизити залежність від хмарних сервісів, покращити конфіденційність даних користувачів та розширити функціонал портативних гаджетів, забезпечуючи більш швидку та локальну обробку інформації.