Новый инструмент для ускорения работы больших языковых моделей на устройствах: Torchchat

«`html

Встречайте Torchchat: гибкая платформа для ускорения Llama 3, 3.1 и других больших языковых моделей на ноутбуках, настольных компьютерах и мобильных устройствах

Быстрое развитие крупных языковых моделей (LLM) существенно повлияло на ряд различных областей, таких как генеративный ИИ, понимание естественного языка и обработка естественного языка. Однако аппаратные ограничения исторически затрудняли запуск этих моделей локально на ноутбуке, настольном компьютере или мобильном устройстве. Для преодоления этой проблемы команда PyTorch представила Torchchat, гибкую платформу, разработанную для максимизации производительности LLM, таких как Llama 3 и 3.1, в различных вычислительных условиях. Такой подход позволяет эффективно выполнять локальные выводы на различных устройствах, что может демократизировать доступ к мощным моделям ИИ.

Основные особенности Torchchat:

• Python: Веб-браузер или интерфейс командной строки Python (CLI) могут использовать REST API Torchchat. Этот API является удобным выбором для ученых и разработчиков, так как упрощает взаимодействие с LLM.
• C++: С использованием бэкэнда AOTInductor PyTorch, Torchchat предлагает бинарный файл, удобный для использования на настольных компьютерах. Эта особенность позволяет эффективно запускать LLM на платформах на базе x86, делая их подходящими для высокопроизводительных настольных сред.
• Мобильные устройства: Torchchat использует ExecuTorch для экспорта бинарного файла «.pte» для вывода на устройствах в ответ на растущий спрос на ИИ на мобильных платформах. Эта функция позволяет запускать надежные LLM на планшетах и смартфонах, создавая новые возможности для мобильных приложений.

Важно отметить, что производительность любого инструмента ИИ зависит от его производительности, и Torchchat продемонстрировал отличную производительность на многих платформах. Команда PyTorch выпустила подробные бенчмарки, демонстрирующие гибкость и эффективность Torchchat при запуске Llama 3 на нескольких системах.

В заключение, Torchchat предлагает гибкий и эффективный способ запуска мощных моделей ИИ на различных устройствах, что является существенным прогрессом в области локального вывода LLM. Через Torchchat разработчики и исследователи могут более просто устанавливать и оптимизировать LLM локально, открывая новые возможности для исследований ИИ, начиная от настольных приложений до мобильных новинок.

Проверьте GitHub и подробности. Вся благодарность за этот проект принадлежит его исследователям. Также не забудьте подписаться на наш Twitter и присоединиться к нашему Telegram-каналу и группе LinkedIn. Если вам нравится наша работа, вам понравится наша рассылка.

Не забудьте присоединиться к нашему 47 тыс. пользовательскому субреддиту по машинному обучению.

Найдите предстоящие вебинары по ИИ здесь.

Оригинальная статья: MarkTechPost

«`