CodeMaker AI: Достижение
В эпоху преобразования отраслей с помощью искусственного интеллекта, CodeMaker AI достиг важного прорыва, автономно воссоздав 90 000 строк библиотеки программного обеспечения с удивительным сходством 91% с оригинальным кодом. Это достижение отмечает значительный сдвиг в том, как можно использовать ИИ в разработке программного обеспечения, демонстрируя потенциал сокращения ручных усилий по кодированию и радикального ускорения сроков разработки. CodeMaker AI настроен на понимание и создание сложных структур кода, обрабатывает более 3 200 файлов и воспроизводит код менее чем за два часа. Путем использования передовых техник машинного обучения CodeMaker AI показал, что генерация кода крупного масштаба, ранее трудная для человеческих разработчиков, теперь может быть достигнута с точностью, скоростью и экономичностью. Последствия этого развития выходят далеко за рамки простой генерации кода, поскольку это представляет собой новую границу в роли ИИ в автоматизации и усилении сложных задач в области программной инженерии.
CodeMaker AI: Эксперимент
Основой эксперимента CodeMaker AI было настройка модели машинного обучения специально на кодовой базе, позволяя ИИ автономно генерировать код. Настройка подразумевает взятие предварительно обученной модели и дальнейшее обучение на конкретном наборе данных для адаптации к определенной задаче. Для этого проекта ИИ был настроен на полную производственную кодовую базу, что позволило ему генерировать код, соответствующий конкретным стилям кодирования, областям домена и структуре.
Процесс настройки
Процесс настройки включал обучение модели ИИ на 129 миллионах токенов из кодовой базы, что заняло 11 часов и 44 минуты за $1949.75. Затем модель использовалась для воссоздания стертого кода в каталоге `src/main/java` с использованием функции пакетной генерации кода CodeMaker AI. Команда, использованная для этой операции, была:
—bash
codemaker generate code —model user-model **/src/main/**/*.java
Этот процесс пакетной генерации был завершен за 1 час и 42 минуты, демонстрируя эффективность CodeMaker AI в задачах генерации кода крупного масштаба.
Сравнение кода и оценка
Для оценки точности сгенерированного ИИ кода CodeMaker AI использовал два ключевых показателя: уровень ошибок и уровень сходства. Уровень ошибок был определен как расстояние Левенштейна между оригинальными и сгенерированными файлами, измеряя насколько далеко они друг от друга. Уровень сходства был рассчитан следующим образом:
—Python
similarity_rate = 1 — (dist(a, b) / max(len(a), len(b)))
Этот показатель отвечал на вопрос о том, насколько похожи два файла, с результатами, усредненными по всем файлам в наборе данных. Для сравнения использовались две модели: базовая модель с 7B параметрами и настроенная модель с 7B параметрами. Результаты были следующими:
Настроенная модель превзошла базовую модель, снизив уровень ошибок и увеличив сходство. Это подчеркивает важность задачеспецифической настройки для ИИ моделей в генерации программного обеспечения.
Последствия ИИ в разработке программного обеспечения
Последствия достижения CodeMaker AI выходят далеко за пределы этого одиночного эксперимента. По мере развития ИИ открываются возможности для автоматизации генерации кода и других аспектов разработки программного обеспечения, таких как тестирование, документирование и даже отладка.
