«`html
Влияние ментального здоровья на качество жизни
Ментальное здоровье глубоко влияет на качество жизни людей, но доступ к ментальным услугам может быть затруднен из-за стигматизации, недостаточного количества специалистов и фрагментированных систем здравоохранения.
Применение NLP в области ментального здоровья
NLP показал свой потенциал в области ментального здоровья, с моделями, разработанными для выявления симптомов и оценки депрессии по клиническим текстам. Однако создание этих моделей требует значительной вычислительной мощности, которой многим организациям не хватает, и регулирование, такое как HIPAA и GDPR, дополнительно усложняет использование облачных ресурсов.
Инновационные решения
Исследователи из Children’s National Hospital и George Washington University представили mhGPT, легкую генеративную модель, обученную на связанных с ментальным здоровьем социальных медиа и статьях PubMed. Модель mhGPT, с всего 1,98 миллиарда параметров, превзошла более крупные модели, такие как MentaLLaMA и Gemma, несмотря на использование всего 5% набора данных. Модель выигрывает за счет интеграции разнообразных данных о ментальном здоровье и индивидуального токенизатора, показывая, что более маленькие, насыщенные экспертными знаниями модели могут соответствовать или превосходить производительность современных моделей в задачах ментального здоровья, даже при ограниченных вычислительных ресурсах.
Использование данных и ключевые результаты
В исследовании использовались более 49 000 статей из PubMed Central о ментальном здоровье и более 1 миллиона публикаций и комментариев из различных подразделов ментального здоровья на Reddit. Данные были предварительно обработаны путем удаления нерелевантного контента и затем выборочно использовались двумя методами: усечение до 512 токенов или фрагментация с помощью скользящего окна. Модели обучались на высокопроизводительных вычислительных кластерах и экземплярах Amazon EC2. Тонкая настройка использовала техники LoRA и QLoRA, с применением NEFTune для смягчения переобучения, особенно в несбалансированных наборах данных.
Заключение
mhGPT — это компактный генеративный предварительно обученный трансформер, разработанный для анализа текстов о ментальном здоровье. Обученная на социальных медиа, связанных с ментальным здоровьем, и статьях PubMed, mhGPT была тонко настроена на пять конкретных задач и превзошла современные модели, такие как MentaLLaMA, несмотря на меньшее количество параметров и обучающих данных. Ключевые инновации включают использование экспертных знаний, интегрированных в данные, индивидуального токенизатора и NEFTune для улучшения производительности на несбалансированных наборах данных. Исследование демонстрирует потенциал mhGPT для улучшения ментального здоровья с помощью ИИ, особенно в условиях ограниченных ресурсов, оптимизируя более маленькую модельную архитектуру.
«`
