«`html
Раскрытие потенциала больших языковых моделей: улучшение генерации обратной связи в образовании по вычислительной технике
Обратная связь имеет решающее значение для успеха студентов, особенно в крупных классах по вычислительной технике, сталкивающихся с растущим спросом. Автоматизированные инструменты, включающие методы анализа и тестовые фреймворки, становятся популярными, но часто требуют более полезных предложений. Недавние достижения в области больших языковых моделей (LLM) обещают быструю обратную связь, сходную с человеческой. Однако возникают опасения относительно точности, надежности и этических последствий использования собственных LLM, что требует изучения альтернатив с открытым исходным кодом в образовании по вычислительной технике.
Автоматизированная генерация обратной связи в образовании по вычислительной технике
Генерация обратной связи в образовании по вычислительной технике долгое время представляла собой настоящее испытание, сосредоточенное в основном на выявлении ошибок, а не на предложении конструктивных рекомендаций. LLM представляют собой многообещающее решение этой проблемы. Недавние исследования исследовали использование LLM для автоматизированной генерации обратной связи, но выявили ограничения в их производительности. В то время как некоторые исследования показывают, что LLM, такие как GPT-3 и GPT-3.5, могут выявлять проблемы в коде студентов, они также проявляют несоответствия и неточности в обратной связи. Кроме того, современные модели новейшего поколения испытывают затруднения в достижении уровня производительности человека при предоставлении обратной связи по программированию. Концепция использования LLM в качестве судей для оценки выводов других LLM, называемая LLM-как-судьи, набирает популярность. Этот подход показал многообещающие результаты, причем модели, такие как GPT-4, достигают высоких уровней согласия с человеческими оценками.
Исследователи из Университета Аалто, Университета Ювяскюля и Университета Окленда представляют тщательное исследование для оценки эффективности LLM в предоставлении обратной связи по программам, написанным студентами, и для изучения того, могут ли LLM с открытым исходным кодом соперничать с собственными в этом отношении. Основное внимание уделяется обратной связи, выявляющей ошибки в коде студентов, такие как ошибки компилятора или неудачные тесты. Вначале оценки сравнивают программную обратную связь от GPT-4 с экспертными оценками людей, устанавливая базовую линию для оценки качества обратной связи, сгенерированной LLM. В дальнейшем исследование оценивает качество обратной связи от различных LLM с открытым исходным кодом по сравнению с собственными моделями. Для решения этих исследовательских вопросов используются существующие наборы данных и новая обратная связь, сгенерированная моделями с открытым исходным кодом, оцениваемая с использованием GPT-4 в качестве судьи.
Были использованы данные из вводного курса по программированию Университета Аалто, состоящие из запросов на помощь студентов и обратной связи, сгенерированной GPT-3.5. Критерии оценки сосредоточены на полноте, восприимчивости и селективности обратной связи. Обратная связь оценивалась как качественно, так и автоматически с использованием GPT-4. Модели с открытым исходным кодом оценивались наряду с собственными, используя систему оценки на основе рубрик. GPT-4 оценивал качество обратной связи, сгенерированной LLM, на основе человеческих аннотаций. Точность и F0.5-оценка были ключевыми метриками, используемыми для оценки производительности судьи.
Результаты показывают, что хотя большинство обратной связи воспринимается восприимчиво, лишь немногие обратные связи полны, и многие содержат вводящий в заблуждение контент. GPT-4 склонен оценивать обратную связь более положительно по сравнению с человеческими аннотаторами, указывая на некоторый положительный биас. Результаты классификации производительности для GPT-4 показывают довольно хорошую производительность в классификации полноты и немного более низкую производительность в селективности. Оценка восприимчивости выше, частично из-за смещения данных. Коэффициент Каппа указывает на умеренное согласие, при этом GPT-4 поддерживает высокую полноту по всем критериям, сохраняя разумную точность и точность.
Подводя итог, данное исследование изучило эффективность GPT-4 в оценке автоматически генерируемой программной обратной связи и оценило производительность различных больших языковых моделей, включая модели с открытым исходным кодом, в генерации обратной связи по коду студентов. Результаты показывают, что GPT-4 обещает надежно оценивать качество автоматически генерируемой обратной связи. Кроме того, модели языков с открытым исходным кодом демонстрируют потенциал в генерации программной обратной связи. Это говорит о том, что обратная связь, сгенерированная LLM, может служить эффективным и доступным ресурсом в учебной среде, позволяя преподавателям и ассистентам по преподаванию сосредотачиваться на более сложных случаях, в которых LLM в настоящее время могут не справляться с помощью студентов.
Посмотреть статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter. Присоединяйтесь к нашему каналу в Telegram, каналу в Discord и группе в LinkedIn.
Если вам нравится наша работа, вам понравится наш бюллетень.
Не забудьте присоединиться к нашему 42k+ ML SubReddit.
Пост Раскрытие потенциала больших языковых моделей: улучшение генерации обратной связи в образовании по вычислительной технике впервые появился на MarkTechPost.
«`
