Исследователи из Центра искусственного интеллекта FPT Software представляют XMainframe: современную большую языковую модель для модернизации мейнфреймовых систем.

«`html

Введение

Операционные системы мэйнфреймов, возникшие в 1940-х годах, остаются неотъемлемыми для критически важных секторов, таких как финансы и государство. Однако огромное наследие кода COBOL, оцениваемое компанией IBM в 200-220 миллиардов строк, нуждается в миграции на современные платформы и переписывании на современных языках программирования. Данная задача является громадной, при этом стоимость переписывания кода COBOL с использованием человеческих ресурсов оценивается в 32-50 центов за строку, представляя собой вызов на сумму в 100 миллиардов долларов. Время, необходимое для полной переписи человеческими программистами, все еще неопределенно. Эти системы часто рассматриваются как устаревшие, требующие значительного обслуживания и модернизации. Для преодоления этого вызова необходимы инновационные инструменты, способные понимать и взаимодействовать с наследственными кодовыми базами, долговременным препятствием для отрасли. Появление больших языковых моделей (LLM) предлагает потенциальное решение этой долгосрочной проблемы. Однако существуют несколько проблем при применении LLM для модернизации мэйнфреймов.

Проблемы при использовании LLM для модернизации мэйнфреймов:

1. Ограниченное обучение на языках мэйнфреймов: Существующие LLM обучены на широком спектре языков, как естественных, так и программирования, однако им не хватает достаточного обучения на языках, используемых в мэйнфреймах, таких как COBOL. Относительно небольшое количество кода COBOL, доступного в Интернете, приводит к недостаточному пониманию и рассуждению в этих моделях. Кроме того, организации склонны держать свои кодовые базы мэйнфреймов в тайне из-за высоких требований к безопасности в финансово-критических секторах, что дополнительно ограничивает доступные обучающие данные.
2. Отсутствие надлежащих бенчмарков: Отсутствие комплексной документации и ясных бизнес-целей для систем мэйнфреймов затрудняет разработку бенчмарков для оценки качества LLM в этой области. Это затрудняет возможность измерения их эффективности и надежности в задачах модернизации мэйнфреймов.
3. Сложности за пределами генерации кода: LLM для написания кода в основном обучены на генерацию кода, наиболее распространенный случай использования в задачах программной инженерии. Однако модернизация мэйнфреймов включает в себя не только генерацию кода COBOL — организации стремятся перенести свои системы на другие языки. Таким образом, LLM должны обладать знаниями за пределами генерации кода для эффективной модернизации этих систем.

XMainframe

Для решения этих проблем исследователи из Центра искусственного интеллекта FPT Software разработали XMainframe, современную крупномасштабную языковую модель (LLM), специально разработанную с экспертизой в наследственных системах мэйнфреймов и кодовых базах COBOL. Решение включает создание обширного конвейера сбора данных для создания высококачественных обучающих наборов, значительно повышая производительность XMainframe в этой специализированной области. Кроме того, они представляют MainframeBench, комплексный бенчмарк для оценки знаний о мэйнфреймах через вопросы с выбором, вопросы и ответы и краткое изложение кода COBOL. Эмпирические оценки показывают, что XMainframe последовательно превосходит существующие передовые LLM в этих задачах, достигая 30% более высокой точности, чем DeepSeek-Coder в вопросах с выбором, удваивая показатель BLEU Mixtral-Instruct 8x7B в вопросах и ответах и набирая в шесть раз выше оценку, чем GPT-3.5 при кратком изложении COBOL. Эта работа подчеркивает потенциал XMainframe в создании значительных прогрессов в управлении и модернизации наследственных систем, в конечном итоге повышая производительность и экономя время для разработчиков программного обеспечения.

Иллюстрация шагов для сбора данных для создания Mainframe:

Результаты по вопросам с выбором:

Результаты по вопросам и ответам:

Результаты по краткому изложению кода:

Проверьте статью и GitHub. Вся заслуга за данное исследование принадлежит исследователям данного проекта. Также не забудьте подписаться на нас в Twitter и присоединиться к нашей группе в Telegram и LinkedIn. Если вам нравится наша работа, вам понравится наша рассылка.

Не забудьте присоединиться к нашему сообществу ML SubReddit (более 48 тыс. участников).

Найдите предстоящие вебинары по ИИ здесь.

Благодарим Центр искусственного интеллекта FPT Software за ведущие позиции/ресурсы для этой статьи.

Источник: MarkTechPost

«`