Как близки мы к пределу исчерпания данных для обучения больших языковых моделей (LLM)?

«`html

Исчерпание данных для обучения больших языковых моделей (LLM): насколько близки мы к пределу?

В быстро развивающихся областях искусственного интеллекта и науки о данных объем и доступность обучающих данных играют решающую роль в определении возможностей и потенциала больших языковых моделей (LLM). Большие объемы текстовых данных используются этими моделями для обучения и улучшения навыков понимания языка.

Источники текстовых данных и их сравнение с растущими потребностями сложных ИИ-моделей

Веб-данные: Только англоязычная часть набора данных FineWeb, являющегося подмножеством веб-данных Common Crawl, содержит удивительные 15 трлн токенов. Объем корпуса может удвоиться, если добавить высококачественный неанглоязычный веб-контент.

Репозитории кода: Публично доступный код, такой как тот, что компилируется в наборе данных Stack v2, вносит примерно 0,78 трлн токенов. Хотя это может показаться незначительным по сравнению с другими источниками, общий объем кода в мире прогнозируется значительным, составляя десятки трлн токенов.

Научные публикации и патенты: Общий объем научных публикаций и патентов составляет примерно 1 трлн токенов, что является значительным, но уникальным подмножеством текстовых данных.

Книги: Цифровые коллекции книг, такие как Google Books и Anna’s Archive, содержат более 21 трлн токенов текстового контента. При учете каждой отдельной книги в мире общее количество токенов возрастает до 400 трлн.

Архивы социальных медиа: Пользовательский контент размещается на платформах, таких как Weibo и Twitter, которые вместе составляют примерно 49 трлн токенов. Своими 140 трлн токенов выделяется Facebook. Это значительный, но в основном недоступный ресурс из-за проблем конфиденциальности и этики.

Транскрибация аудио: Обучающий корпус получает примерно 12 трлн токенов из публично доступных аудиоисточников, таких как YouTube и TikTok.

Частные коммуникации: Электронные письма и сохраненные мгновенные беседы добавляют значительный объем текстовых данных, примерно 1,8 трлн токенов при суммировании. Доступ к этим данным ограничен, возникают вопросы конфиденциальности и этики.

Этические и логистические препятствия для будущего роста

Существуют этические и логистические препятствия для будущего роста, поскольку текущие наборы данных для обучения LLM приближаются к уровню в 15 трлн токенов, представляющему доступный объем высококачественного англоязычного текста. Обращение к другим ресурсам, таким как книги, аудиозаписи и корпуса на других языках, может привести к небольшим улучшениям и, возможно, увеличению максимального объема читаемого высококачественного текста до 60 трлн токенов.

Однако объемы токенов в частных хранилищах данных, управляемых Google и Facebook, достигают квадриллионов и выходят за пределы этических бизнес-проектов. В связи с ограничениями, налагаемыми ограниченными и морально приемлемыми источниками текста, будущее развитие LLM зависит от создания синтетических данных. Поскольку доступ к частным хранилищам данных запрещен, синтез данных кажется ключевым направлением будущих исследований в области ИИ.

В заключение, существует настоятельная необходимость в уникальных методах обучения LLM, учитывая сочетание растущих потребностей в данных и ограниченных текстовых ресурсов. Для преодоления приближающихся пределов данных для обучения LLM синтетические данные становятся все более важными, поскольку существующие наборы данных приближаются к насыщению. Этот парадигменный сдвиг привлекает внимание к тому, как меняется область исследований в области ИИ и заставляет сознательно обратить внимание на синтез синтетических данных для поддержания текущего прогресса и соблюдения этических норм.

Пишите нам в Telegram
Следите за новостями в нашем Телеграм-канале
Twitter @itinairu45358

Использование искусственного интеллекта для вашего бизнеса

Анализируйте возможности применения автоматизации с использованием ИИ, определите моменты, когда ваши клиенты могут извлечь выгоду из этой технологии. Установите ключевые показатели эффективности (KPI), которые вы хотите улучшить с помощью ИИ.

Выберите подходящее решение, так как сейчас существует множество вариантов применения ИИ. Постепенно внедряйте ИИ-решения, начиная с небольших проектов, анализируйте результаты и KPI. На основе полученных данных и опыта расширяйте автоматизацию.

Если вам нужны советы по внедрению ИИ, пишите нам в Telegram. Используйте AI Sales Bot https://itinai.ru/aisales — этот ИИ-ассистент в продажах поможет вам эффективно общаться с клиентами, генерировать контент и снижать нагрузку на отдел продаж.

Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru — будущее уже здесь!

«`