LinkedIn выпустил ядро Liger (Linkedin GPU Efficient Runtime): революционный инструмент, повышающий эффективность обучения LLM на 20% и сокращающий использование памяти на 60%

«`html

LinkedIn Released Liger (Linkedin GPU Efficient Runtime) Kernel: A Revolutionary Tool That Boosts LLM Training Efficiency by Over 20% While Cutting Memory Usage by 60%

LinkedIn недавно представил свою инновационную разработку — Liger (LinkedIn GPU Efficient Runtime) Kernel, коллекцию высокоэффективных ядер Triton, специально разработанных для обучения больших языковых моделей (LLM). Эта новая технология представляет собой прорыв в машинном обучении, особенно в обучении масштабных моделей, требующих значительных вычислительных ресурсов. Ядро Liger готово стать ключевым инструментом для исследователей, практиков машинного обучения и тех, кто стремится оптимизировать эффективность обучения на GPU.

Введение в ядро Liger

Ядро Liger было метикулезно разработано для решения растущих требований обучения LLM путем улучшения скорости и эффективности использования памяти. Команда разработчиков в LinkedIn реализовала несколько передовых функций в ядре Liger, включая совместимые с Hugging Face RMSNorm, RoPE, SwiGLU, CrossEntropy, FusedLinearCrossEntropy и другие. Эти ядра эффективны и совместимы с широко используемыми инструментами, такими как Flash Attention, PyTorch FSDP и Microsoft DeepSpeed, что делает их очень универсальными для различных приложений.

Основные особенности и преимущества

Одним из наиболее замечательных аспектов ядра Liger является его способность увеличивать пропускную способность обучения на нескольких GPU на более чем 20%, снижая использование памяти до 60%. Эта двойная выгода достигается путем объединения ядер, замены на месте и техник фрагментации, которые оптимизируют вычислительные процессы, участвующие в обучении LLM. Ядро разработано таким образом, чтобы быть легким, с минимальными зависимостями, требующими только Torch и Triton, что устраняет распространенные проблемы, связанные с управлением сложными зависимостями программного обеспечения.

Эффективность ядра Liger еще больше подтверждается его способностью обрабатывать более длинные контексты, большие размеры пакетов и массивные словари, не жертвуя производительностью. Например, в то время как традиционные модели Hugging Face могут сталкиваться с ошибками «недостатка памяти» (OOM) при 4K, ядро Liger способно масштабироваться до 16K, значительно увеличивая емкость и возможности модели.

Приложения и применение

Ядро Liger особенно полезно для тех, кто работает над проектами обучения LLM крупного масштаба. Например, при обучении модели LLaMA 3-8B ядро Liger может достигать до 20% увеличения скорости обучения и 40% снижения использования памяти. Это особенно полезно при обучении на наборах данных, например, Alpaca, где эффективность вычислений может значительно влиять на общую стоимость и время, необходимые для разработки модели.

В более сложных сценариях, таких как этап переобучения многоголового LLM, например Medusa, ядро Liger может снизить использование памяти на впечатляющие 80%, увеличив скорость обработки на 40%. Эти улучшения критически важны для исследователей и практиков, стремящихся расширить границы возможностей LLM, позволяя им экспериментировать с более крупными моделями и более сложными архитектурами без аппаратных ограничений.

Технический обзор

Ядро Liger интегрирует несколько ключевых операций, основанных на Triton, которые улучшают производительность обучения LLM. Среди них RMSNorm, RoPE, SwiGLU и FusedLinearCrossEntropy, каждый из которых способствует общей эффективности ядра. Например, RMSNorm нормализует активации с использованием их квадратного корня. Этот процесс был оптимизирован в ядре Liger, что привело к трехкратному увеличению скорости и уменьшению пикового использования памяти.

Аналогично, RoPE (Rotary Positional Embedding) и SwiGLU (Swish Gated Linear Units) были реализованы с техниками замены на месте, которые значительно снижают использование памяти и увеличивают скорость вычислений. Функция потерь CrossEntropy, критически важная для многих задач LLM, также была оптимизирована для снижения пикового использования памяти более четыре раза, удвоив скорость выполнения.

Простота использования и установки

Несмотря на свои передовые возможности, ядро Liger разработано так, чтобы быть удобным в использовании и легко интегрироваться в существующие рабочие процессы. Пользователи могут патчировать свои существующие модели Hugging Face оптимизированными ядрами Liger с помощью всего одной строки кода. Легкий дизайн ядра также обеспечивает его совместимость с настройками многоголовых GPU, включая PyTorch FSDP и DeepSpeed, без необходимости обширной конфигурации или дополнительных библиотек.

Ядро Liger можно установить с помощью pip, доступны как стабильные, так и ночные версии. Это удобство установки, в сочетании с минимальными зависимостями ядра, делает его доступным для широкого круга пользователей, от опытных практиков машинного обучения до любознательных новичков, желающих улучшить свою эффективность обучения.

Перспективы и участие сообщества

LinkedIn стремится продолжать улучшать ядро Liger и приветствует вклад сообщества. Путем сотрудничества LinkedIn стремится собрать лучшие ядра для обучения LLM и включить их в будущие версии ядра Liger. Такой подход гарантирует, что ядро остается на переднем крае технологических инноваций в обучении LLM.

Заключение

Выпуск ядра Liger от LinkedIn является значительным этапом в развитии обучения LLM. Ядро Liger готово стать незаменимым инструментом для всех, занимающихся обучением моделей крупного масштаба, предлагая высокоэффективное, простое в использовании и универсальное решение. Его способность радикально улучшить как скорость, так и эффективность использования памяти несомненно ускорит разработку более продвинутых и способных LLM, проложив путь для прорывов в искусственном интеллекте.

Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями об ИИ в нашем Телеграм-канале https://t.me/aisalesbotnews

Попробуйте AI Sales Bot https://saile.ru/ Это AI ассистент для продаж, он помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.

Узнайте, как ИИ может изменить процесс продаж в вашей компании с решением от saile.ru будущее уже здесь!

«`