«`html
Выпуск Reader-LM-0.5B и Reader-LM-1.5B от Jina AI
Революционное преобразование HTML в Markdown с помощью многоязычных, долгоконтекстных и высокоэффективных малых языковых моделей для обработки веб-данных
В апреле 2024 года Jina AI представила Jina Reader, API, которое преобразует любой URL в markdown, подходящий для больших языковых моделей (LLM). Однако этот метод столкнулся с проблемами, такими как неправильная фильтрация контента и сложности в преобразовании сложных HTML-структур. Для преодоления этих ограничений Jina AI выпустила две малые языковые модели: Reader-LM-0.5B и Reader-LM-1.5B. Эти модели обучены специально для преобразования сырого HTML в markdown и обладают многоязычной поддержкой с возможностью обработки до 256 тыс. токенов контекста.
Модели Reader-LM разработаны для обработки длинных контекстов и выполнения выборочного копирования из HTML в markdown. Они обладают компактным размером, поддерживают многоязычный контент и предлагают эффективное решение для преобразования HTML в markdown.
Выпуск Reader-LM-0.5B и Reader-LM-1.5B представляет собой значительный прорыв в технологии малых языковых моделей, специально разработанных для преобразования HTML в markdown. Эти модели предлагают мощный инструмент для разработчиков и предприятий, стремящихся оптимизировать свои рабочие процессы.
«`
