Могут ли языковые модели создавать качественные вопросы на основе контекста?

Can LLMs Design Good Questions Based on Context? This AI Paper Evaluates Questions Generated by LLMs from Context, Comparing Them to Human-Generated Questions

«`html

Большие языковые модели (LLMs) и генерация вопросов

Большие языковые модели (LLMs) используются для создания вопросов на основе заданных фактов или контекста. Однако оценить качество этих вопросов бывает сложно. Вопросы, созданные LLM, часто отличаются от человеческих по длине, типу и соответствию контексту.

Проблемы оценки качества вопросов

Проверка качества вопросов затруднена, так как большинство методов требует много ручной работы или использует простые числовые показатели, которые не отражают полной картины. Это создает трудности в правильной оценке вопросов и мешает улучшению работы LLM.

Текущие методы генерации вопросов

Существующие методы генерации вопросов используют автоматизированные техники, но они либо полагаются на простые статистические меры, либо требуют значительных усилий по ручной маркировке. Эти методы не могут глубоко оценить качество генерируемых вопросов.

Автоматизированная оценка с помощью LLM

Исследователи из Университета Калифорнии в Беркли, KACST и Университета Вашингтона предложили автоматизированную оценочную структуру, использующую LLM. Эта структура генерирует вопросы на основе контекста и оценивает их по шести критериям: тип вопроса, длина, охват контекста, возможность ответа, редкость и необходимая длина ответа.

Результаты исследования

В ходе исследования были проанализированы 860,000 абзацев из набора данных WikiText для генерации самообъемлющих вопросов. Средняя длина вопроса составила 15 слов, а охват контекста — 51.1% на уровне слов и 66.7% на уровне предложений. Важность контекста была подтверждена высокой возможностью ответа с контекстом и низкой без него.