Обучение трансформеров причинно-следственному мышлению: новый подход в искусственном интеллекте
«`html
Искусственный интеллект (ИИ) и принципиальный подход для улучшения причинно-следственного рассуждения в моделях ИИ
Искусственный интеллект (ИИ) преобразовал традиционное исследование, поднимая его на невиданные высоты. Однако в других сферах его применения есть некоторые проблемы. Одна из критических проблем в ИИ заключается в обучении моделей выполнять причинное рассуждение. Традиционные методы сильно зависят от больших наборов данных с явно обозначенными причинно-следственными связями, которые часто дороги и сложны в получении. Исследователи стремятся найти инновационные подходы к обучению моделей ИИ понимать и применять причинное рассуждение, используя более доступные источники данных. Эта проблема является ключевой, поскольку напрямую влияет на эффективность и точность систем ИИ в понимании и рассуждении о причинно-следственных отношениях в различных приложениях.
Существующие модели ИИ обычно используют обширные наборы данных, в которых причинные связи явно указаны или выводятся через статистические закономерности. Например, большие языковые модели (LLM) типа GPT-4 продемонстрировали некоторые возможности в причинном рассуждении. Однако эти модели часто нуждаются в помощи с невидимыми или сложными причинными структурами. Текущие методы включают прямые данные вмешательства или предварительное обучение моделей на наборах данных, богатых причинной информацией. Несмотря на эти усилия, ограничения остаются значительными, особенно в отношении способности моделей обобщать по различным причинным сценариям.
Исследователи из Microsoft Research, IIT Hyderabad и MIT представили новый метод, называемый аксиоматическим обучением, чтобы решить эти проблемы. Этот подход включает обучение моделей на нескольких демонстрациях причинных аксиом или правил, а не только на индуктивных предубеждениях или выведенных значениях данных. Подвергая модели ИИ различным примерам этих гипотез, исследователи стремятся улучшить способность моделей обобщать причинное рассуждение на новые и более сложные сценарии. Этот метод особенно инновационен, поскольку смещает фокус с обучения, требующего больших объемов данных, на более принципиальный подход.
Подход аксиоматического обучения, разработанный исследовательской группой, включает создание разнообразных обучающих данных, включающих несколько демонстраций причинной аксиомы. Например, используется аксиома транзитивности, согласно которой, если A вызывает B, а B вызывает C, то A должно вызывать C. Для улучшения их способности обобщения модели обучались на линейных цепочках причинности с вариациями, включая шум и обратные порядки. Это всеобъемлющее обучение направлено на то, чтобы модели могли применять выученные аксиомы к более крупным и сложным причинным графам, даже тем, которые не встречались во время обучения. Исследователи разработали различные наборы оценок для проверки способностей моделей, охватывающих причинные последовательности длиннее обучающих данных и последовательности с перемешанными порядками для оценки структурного понимания и применения аксиомы транзитивности к более сложным сетям.
Результаты этого исследования и его производительность впечатляют. 67-миллионный трансформаторный модель, обученная с использованием аксиоматических демонстраций, показала исключительные способности к обобщению. Она смогла расширить свое понимание на более длинные цепочки причинности, обратные последовательности и сложные ветвящиеся структуры, даже превзойдя более крупные модели, такие как GPT-4 и Gemini Pro, в конкретных тестах. Например, модель достигла точности 0,85 для стандартных цепочек и 0,78 для случайно перевернутых цепочек длиной 14-15. Эти результаты подчеркивают способность модели эффективно обрабатывать невидимые сценарии. Более того, модель продемонстрировала конкурентоспособную производительность по сравнению с GPT-4, с значительной точностью в причинных цепочках размером 7-13, превосходя другие LLM, такие как Gemini Pro и Phi-3, в различных задачах.
В заключение, исследование подчеркивает потенциал аксиоматического обучения в улучшении способностей моделей ИИ к причинному рассуждению. Обучая модели на фундаментальных причинных аксиомах, исследователи продемонстрировали, что ИИ может эффективно навигировать по сложным причинным структурам. Этот метод предлагает более эффективный и масштабируемый подход к обучению причинного рассуждения, потенциально изменяя способы обучения систем ИИ для задач причинного вывода. Успех этого метода указывает на многообещающее направление для будущих исследований и применений в области ИИ, подчеркивая важность принципиального обучения перед традиционными методами, требующими больших объемов данных.
Проверьте статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter.
Присоединяйтесь к нашему каналу в Telegram и группе в LinkedIn.
Если вам понравилась наша работа, вам понравится и наша рассылка.
Не забудьте присоединиться к нашему сообществу более чем 46 тысяч подписчиков в ML SubReddit.
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Can We Teach Transformers Causal Reasoning? This AI Paper Introduces Axiomatic Training: A Principle-Based Approach for Enhanced Causal Reasoning in AI Models.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из ИИ.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.
Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru. Будущее уже здесь!
Источник: MarkTechPost
«`