Разрушительный потенциал больших языковых моделей на устройствах

Узнайте о достижениях искусственного интеллекта на устройствах и о том, как он произведет революцию в нашем повседневном взаимодействии с технологиями, сделав нашу жизнь более эффективной и взаимосвязанной.

Представьте себе мир, в котором ваш смартфон может мгновенно понимать и реагировать на ваши потребности, без необходимости подключения к Интернету или предоставления вашей информации какому-либо человеку или компании. Мы находимся на пороге такого новаторского сдвига, как переход больших языковых моделей (LLM) от облачных систем к полной обработке на устройстве. Представьте себе языковой перевод в реальном времени во время разговора с иностранным другом или вашего виртуального помощника, немедленно выполняющего команды, даже в зонах без покрытия сети. Это замечательное преобразование обещает непревзойденную конфиденциальность, сокращение задержек и улучшенную доступность. В этой статье разработчики компании DST Global рассмотрят эти захватывающие достижения и то, как искусственный интеллект на устройстве произведет революцию в нашем ежедневном взаимодействии с технологиями, сделав нашу жизнь более эффективной и связанной.

Значение моделей на устройстве

На устройстве Модели машинного обучения знаменуют собой смену парадигмы в том, как будут разрабатываться приложения ИИ. Такие модели могут предложить несколько ключевых преимуществ, обрабатывая данные локально на устройствах пользователей, а не в удаленных центрах обработки данных.

Улучшенная конфиденциальность

Новый цифровой мир вызывает понятные опасения по поводу конфиденциальности. Обработка на устройстве представляет собой характеристику, при которой персональные данные даже не покидают устройство пользователя. Таким образом, вероятность утечки данных и несанкционированного доступа значительно снижается, поскольку не требуется передавать конфиденциальную информацию на серверы. Например, модель на устройстве может транскрибировать то, что вы говорите, когда диктуете сообщение на свой телефон, без фактической отправки ваших голосовых данных в облако, сохраняя ваши разговоры по-настоящему конфиденциальными.

Уменьшенная задержка

Скорость — это все, когда дело касается ответов ИИ, и именно это делает модели на устройстве критически важными для более плавного пользовательского опыта, чем сегодня. При правильном размере модели модели на устройстве обеспечивают почти мгновенные ответы, и это сокращение задержки очень ощутимо при переводе на другой язык в режиме реального времени или голосовых помощниках. Просто представьте, что вы разговариваете с кем-то, говорящим на иностранном языке, и ваше устройство переводит на месте, без какой-либо ощутимой задержки. В этом сила обработки на устройстве.

Оффлайн функциональность

Еще одним преимуществом моделей на устройстве является то, что они работают в автономном режиме. Это имеет решающее значение в районах с низким уровнем подключения. Например, турист где-нибудь в уединенной части мира может по-прежнему использовать языковой перевод на основе ИИ, запрашивать навигацию или даже иметь дело с очень сложными инструментами анализа данных, не беспокоясь о доступности Интернета.

Эффективность затрат

Следовательно, обработка на устройстве может оказаться экономически эффективной как для пользователя, так и для поставщиков услуг. Предприятия сокращают эксплуатационные расходы за счет сокращения постоянной передачи данных и ресурсов облачных вычислений . Для пользователей компании могут предложить более низкую абонентскую плату за услуги на базе ИИ и сокращение использования данных в мобильных тарифных планах. Более того, энергоэффективность может привести к более длительному сроку службы батареи современных процессоров ИИ на устройстве, тем самым добавляя еще один уровень экономической эффективности для потребителей.

Текущее состояние развития

Несколько ключевых игроков добиваются значительных успехов в создании эффективных моделей искусственного интеллекта на устройствах.

Apple Интеллект

Для Apple все изменилось с появлением Neural Engine с чипом A11 Bionic, поскольку это сделало машинное обучение на устройстве реальностью. Теперь с iOS 18 Apple представила LLM с 3 миллиардами параметров как часть набора Apple Intelligence, который в первоначальных тестах, похоже, находится на одном уровне с текущими моделями с открытым исходным кодом с 7 миллиардами параметров и работает близко к уровню GPT 3.5. Судя по запуску Apple, эта модель на устройстве вместе с серверными моделями Apple поддерживают несколько функций в iOS, таких как:

- Преобразованная Siri: Siri теперь может похвастаться улучшенным пониманием пользователей и продуктов Apple, предлагая более персонализированный опыт.

- Генерация изображений: пользователи могут создавать собственные изображения в таких приложениях, как Notes, а также создавать собственные стикеры, которыми можно делиться с друзьями, используя естественного языка . команды

- Исправление ошибок: пользователи могут редактировать электронные письма, сообщения и другой текст с помощью минимального количества щелчков мыши.

Пока неясно, какие функции будут полностью работать на устройстве, но Apple явно движется к тому, чтобы сделать все эти функции полностью на устройстве. Этот сдвиг обещает не только незначительную задержку, но и повышенное доверие пользователей, поскольку их данные никогда не покинут устройство. Предположительно, эти модели также будут доступны третьим лицам в ближайшие годы и, если их использовать правильно, приведут к появлению волшебных приложений.

Инициативы Google по внедрению искусственного интеллекта на устройствах

Google также делает большую ставку на ИИ на устройстве, особенно с помощью своих внутренних чипов Tensor для устройств Pixel и совершенно новой модели Gemma 2B. Чип Tensor, который был разработан в основном для обработки ИИ на устройстве, впервые дебютировал в серии Pixel 6. У Google есть много функций, которые выигрывают от этого, включая:

- Перевод в реальном времени: устройства Pixel могут переводить устную речь в режиме реального времени, даже если пользователь не подключен к сети.

- Продвинутая вычислительная фотография: встроенный искусственный интеллект обеспечивает работу таких функций, как Magic Eraser и Face Unblur, позволяя создавать более качественные фотографии.

- Распознавание голоса: Tensor обеспечивает очень точное и малозадерживаемое распознавание голоса для диктовки речи в текст, субтитров и навигации по устройству.

Представив Gemma 2B, Google сделала еще один шаг вперед, чтобы внедрить LLM на устройстве в реальный мир. Благодаря компактному дизайну и эффективности работы моделей LLM, он открывает реальную возможность выполнения крупномасштабных полностью автономных моделей ИИ на смартфонах и потребительских устройствах.

Партнерство Mistral AI и промышленности

Появление стартапов, таких как Mistral AI во Франции, и их партнерство с технологическими гигантами еще больше подчеркивают растущую важность, связанную с моделями на устройствах. Mistral AI в целом привлекла много внимания к эффективным LLM, разработанным специально для работы на потребительском оборудовании. Например, недавно подписанное соглашение Microsoft с Mistral AI, на фоне более раннего соглашения на сумму 13 миллиардов долларов, заключенного с OpenAI, является явным признаком растущего интереса отрасли к обработке ИИ на устройствах.

Это сотрудничество может стать интересным развитием в области цифрового концерта и периферийных вычислений .

Методы оптимизации: качество против количества

Проектирование больших языковых моделей на устройстве (LLM) подразумевает балансировку размера модели с производительностью. Возникли два общих подхода:

1. Уменьшение параметров

Некоторые исследования показывают, что производительность может быть сохранена или даже улучшена при уменьшении количества параметров. Этот подход фокусируется на оптимизации модели для эффективного использования меньшего количества параметров, стремясь достичь схожих уровней понимания и производительности генерации с более компактной моделью.

2. Повышение эффективности

Другие подчеркивают повышение эффективности меньших моделей для соответствия производительности при использовании меньших ресурсов. Это может быть достигнуто с помощью таких методов, как дистилляция знаний, когда меньшая модель учится имитировать большую, и с помощью архитектурных инноваций, разработанных для более эффективного использования параметров.

Аппаратное обеспечение и расходы

Возможность использования LLM на устройствах тесно связана с достижениями в области мобильного оборудования:

- Пользовательские чипы ИИ: это чипы Neural Engine от Apple и Tensor от Google, которые обеспечивают работу линейки устройств Pixel последней, открывая путь к еще более мощной обработке ИИ на устройстве. Эти специально разработанные чипы гораздо эффективнее справляются с различными вычислительными моделями нейронных сетей по сравнению с универсальными процессорами.

- Оптимизация памяти: такие методы, как квантование и обрезка, используются для уменьшения объема памяти для больших моделей. Квантование снижает точность весов модели, обычно с 32-битного числа с плавающей точкой до 8-битного целого числа. Это может привести к серьезному уменьшению размера модели с небольшой потерей производительности. Обрезка подразумевает уменьшение ненужного размера и удаление соединений в нейронной сети. Таким образом, размер и вычислительные требования дополнительно минимизируются.

- Энергоэффективность: это все еще баланс между производительностью и временем работы от батареи. Важные проблемы включают производительность работы и время работы от батареи, но инновации в проектировании микросхем и управлении питанием продолжают расширять границы возможного. Например, принятие маломощных сопроцессоров для постоянно активных задач ИИ позволяет использовать такие функции, как обнаружение слова пробуждения, которые не оказывают большого влияния на время работы от батареи.

Хотя эти улучшения могут изначально увеличить стоимость оборудования, в долгосрочной перспективе общие расходы на облачные вычисления и передачу данных могут быть сокращены в долгосрочной перспективе как для производителей, так и для их конечных потребителей. Поскольку производство растет, а технологии продолжают развиваться и совершенствоваться, вполне естественно предположить, что стоимость специализированного оборудования для ИИ будет следовать по пути, аналогичному пути его вычислительных собратьев на протяжении десятилетий.

Представляя преображенный мир

Хотя разработчики DST Global считают, что нам потребуется не менее трех лет, чтобы достичь производительности уровня GPT-4 на устройстве, разработчики верят, что с развитием оборудования и оптимизацией моделей мы доберемся туда, и как только мы это сделаем, взаимодействие человека и технологий изменится, как мы его знаем. ИИ станет частью нашей повседневной жизни гораздо более органичным образом, как показано на этих иллюстрациях:

- Персональные помощники на основе искусственного интеллекта: персональные помощники на основе искусственного интеллекта на устройстве превращают каждое устройство в мощного компаньона, который имитирует человеческое взаимодействие и выполняет сложные задачи. Эти помощники на основе искусственного интеллекта могут понимать контекст и узнавать о предпочтениях своего владельца, что позволяет им выполнять широкий спектр действий — от планирования встреч до творческого письма — даже в автономном режиме. Работая непосредственно на устройстве пользователя, эти помощники на основе искусственного интеллекта обеспечивают конфиденциальность и быстрое время отклика, что делает их незаменимыми для управления как рутинными, так и сложными задачами с легкостью и интеллектом.

- Управление устройствами с помощью голоса: голосовое управление устройствами должно стать значительно более мощным и распространенным, особенно с достижениями в моделях больших языков на устройствах. Такие компании, как FlowVoice , уже прокладывают путь, обеспечивая практически бесшумный голосовой ввод на компьютерах. Используя обработку на устройстве, эти технологии обеспечивают большую конфиденциальность и более быстрое время отклика, улучшая пользовательский опыт для таких задач, как ввод текста, навигация и общее управление устройством. По мере развития этой технологии голосовое управление готово стать неотъемлемым методом ввода, революционизируя то, как мы взаимодействуем с нашими устройствами.

- Терапевты с использованием искусственного интеллекта: Терапевты с использованием искусственного интеллекта на устройствах имеют потенциал стать мейнстримом благодаря своей способности предлагать пользователям как конфиденциальность, так и отзывчивые, увлекательные беседы. Работая непосредственно на устройстве пользователя, эти терапевты с использованием искусственного интеллекта гарантируют, что конфиденциальные данные остаются конфиденциальными и защищенными, сводя к минимуму риск нарушений, связанных с облачными сервисами. В сочетании с достижениями в обработке естественного языка и машинном обучении терапевты с использованием искусственного интеллекта на устройствах могут обеспечивать конфиденциальное и поддерживающее взаимодействие, делая терапию более доступной и комфортной для пользователей. Такое сочетание улучшенной конфиденциальности и отзывчивости может сделать терапевтов с использованием искусственного интеллекта на устройствах все более популярным выбором для поддержки психического здоровья.

Заключение

Переход к большим языковым моделям на устройствах представляет собой нечто большее, чем просто технологический прогресс; это фундаментальное переосмысление того, как ИИ интегрируется в нашу повседневную жизнь. Как человек, глубоко вовлеченный в эту область, я был очевиден, что машинное обучение на устройстве лежит не только в будущем приложений ИИ, но и представляет собой наиболее эффективную, успешную и масштабируемую передовую технологию ИИ, осуществимую сегодня, чтобы предоставить ИИ миллиардам людей.

Это приближает нас к точке перегиба, и скорость сейчас набирает обороты, что обещает гораздо более персонализированный, эффективный и доступный ИИ в будущем. Очевидно, что с изменениями в точке перегиба будущее ИИ будет не в больших, далеких центрах обработки данных, а в наших руках.