«`html
Использование больших языковых моделей в академическом письме
В последнее время наблюдается быстрый рост использования больших языковых моделей (LLM), таких как ChatGPT, в академическом письме. Это исследование расследует, насколько распространены эти ИИ-инструменты в ученой литературе, особенно сосредотачиваясь на выявлении изменений в стиле письма и словарном запасе в аннотациях биомедицинских исследований из PubMed между 2010 и 2024 годами.
Оценка влияния LLM на академическую литературу
Традиционные попытки количественно оценить присутствие текстов, созданных LLM, в академической литературе полагались на несколько методов. Один из распространенных подходов включает использование детекторов LLM, обученных различать между человеческим и ИИ-сгенерированным текстом на основе известных образцов. Другой метод моделирует распределение частоты слов в научных текстах, рассматривая их как смеси человеческого и ИИ-сгенерированного контента. Третий подход использует списки маркерных слов, слишком часто используемых LLM, обычно стилистические термины, а не специфическую лексику.
Новый подход к оценке влияния LLM
Предлагается новый, основанный на данных подход, который избегает некоторых ограничений предыдущих методов. Вместо использования заранее определенных наборов данных человеческих и LLM-сгенерированных текстов, их метод исследует избыточное использование слов для выявления участия LLM. Эта техника отслеживает частоту определенных слов, которые показывают значительный рост после выпуска ChatGPT по сравнению с их ожидаемым использованием на основе тенденций предыдущих лет.
Оценка влияния LLM на академическое письмо
Исследователи проанализировали более 14 миллионов аннотаций PubMed с 2010 по 2024 год. Они создали матрицу встречаемости слов в этих аннотациях и рассчитали ежегодную частоту каждого слова. Путем сравнения наблюдаемых частот в 2023 и 2024 годах с контрфактическими прогнозами на основе тенденций 2021 и 2022 годов, они выявили слова со значительным увеличением использования, называемые «избыточные слова», которые затем использовались для оценки влияния LLM.
Выводы и рекомендации
Анализ показал, что определенные слова, особенно стилистические, такие как «погружается», «демонстрирует» и «подчеркивает», показали заметный рост частоты, что указывает на участие LLM. Исследователи количественно оценили это избыточное использование с помощью двух мер: разницы в избыточной частоте (разница между наблюдаемыми и ожидаемыми частотами) и отношения избыточной частоты (отношение наблюдаемых к ожидаемым частотам).
Для оценки степени использования LLM исследователи использовали разницу в частоте избыточных слов в качестве нижней границы. Например, слово «потенциал» показало разницу в избыточной частоте, указывающую на то, что по крайней мере 4% аннотаций 2024 года включают это слово из-за влияния LLM. Этот подход дал надежную нижнюю границу, признавая, что фактическая цифра может быть выше из-за того, что некоторые аннотации, обработанные LLM, не содержат отслеживаемых избыточных слов.
Исследование подчеркивает значительное изменение стилей академического письма из-за появления LLM, предоставляя убедительные доказательства того, что LLM оказали заметное влияние на научную литературу, с по крайней мере 10% недавних биомедицинских аннотаций, показывающих признаки помощи ИИ.
Подробнее ознакомьтесь с исследованием. Вся заслуга за это исследование принадлежит его авторам. Также не забудьте подписаться на нас в Twitter.
Присоединяйтесь к нашему Telegram-каналу и группе LinkedIn.
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему сообществу более чем 45 тыс. подписчиков на Reddit.
Используйте AI для увеличения продаж! Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru — будущее уже здесь!
«`
