«`html
Прозрачность в моделях основания: следующий шаг в индексе прозрачности моделей основания FMTI
Модели основания играют центральную роль в влиянии искусственного интеллекта на экономику и общество. Прозрачность необходима для ответственности, конкуренции и понимания, особенно в отношении данных, используемых в этих моделях. Государства принимают регулятивные акты, такие как Закон ЕС о ИИ и Закон США о прозрачности моделей основания в ИИ, чтобы улучшить прозрачность. Индекс прозрачности моделей основания (FMTI), представленный в 2023 году, оценивает прозрачность 10 ведущих разработчиков (например, OpenAI, Google, Meta) с использованием 100 индикаторов. Начальная версия FMTI v1.0 показала значительную непрозрачность средним баллом 37 из 100, но также отметила изменчивость в открытости информации.
Индекс прозрачности моделей основания (FMTI)
Индекс прозрачности моделей основания (FMTI), представленный в октябре 2023 года, концептуализирует прозрачность через иерархическую таксономию, соотнесенную с цепочкой поставок моделей основания. Эта таксономия включает три основных домена: ресурсы вверх по цепочке, сама модель и ее использование вниз по цепочке, охватывая 23 поддомена и 100 двоичных индикаторов прозрачности. FMTI v1.0 показал широкое отсутствие прозрачности среди 10 оцененных компаний, с наивысшими баллами, достигающими только 54 из 100. Открытые разработчики моделей проявили себя лучше закрытых. Индекс направлен на отслеживание изменений со временем, поощряя прозрачность через общественное и стейкхолдерское давление, как это было продемонстрировано историческими индексами, такими как HDI и Индекс прав цифровых технологий 2018 года.
Исследователи из Университета Стэнфорда, Массачусетского технологического института и Принстонского университета представили последующее исследование (FMTI v1.0) FMTI v1.1 для оценки эволюции прозрачности в моделях основания в течение шести месяцев, сохраняя 100 изначальных индикаторов прозрачности. Разработчики были приглашены представить информацию самостоятельно, улучшая полноту, ясность и масштабируемость. Четырнадцать разработчиков приняли участие, раскрывая новую информацию для 16,6 индикаторов в среднем.
FMTI v1.1 включает четыре этапа:
1. Выбор индикаторов
2. Выбор разработчика
3. Сбор информации
4. Оценка
100 индикаторов из FMTI v1.0 охватывают три домена: ресурсы вверх по цепочке, сама модель и использование вниз по цепочке. Четырнадцать разработчиков, включая восемь из v1.0, представили отчеты о прозрачности для своих флагманских моделей. Сбор информации перешел от общественных поисков к прямым представлениям разработчиков, обеспечивая полноту и ясность. Оценка включала независимую оценку каждого представления разработчика двумя исследователями, за которой последовал итерационный процесс опровержения. Такой подход улучшил прозрачность, позволяя разработчикам предоставлять дополнительную информацию и снижая усилия исследователей.
Заключение исследования FMTI v1.1
Оценка, 14 разработчиков представили отчеты о прозрачности по 100 индикаторам для своих флагманских моделей. Начальные баллы сильно различались, с 11 из 14 разработчиков, набравших менее 65 баллов, что указывает на возможность улучшения. Средний и медианный баллы составили 57,93 и 57 соответственно, со стандартным отклонением 13,98. Самый высокий балл был набран 85 из 100 индикаторов, а самый низкий — 33. Разработчики раскрыли значительную новую информацию, улучшив баллы прозрачности в среднем на 14,2 балла. Прозрачность была наивысшей в области использования и наименьшей — в области ресурсов вверх по цепочке, при этом открытые разработчики обычно превосходили закрытых. Прозрачность улучшилась во всех областях по сравнению с предыдущей версией.
Общественное воздействие моделей основания растет, привлекая внимание различных заинтересованных сторон. Индекс прозрачности моделей основания показывает, что прозрачность в этой экосистеме нуждается в улучшении, хотя с октября 2023 года произошли положительные изменения. Анализируя отчеты разработчиков, Индекс помогает заинтересованным сторонам принимать обоснованные решения. Установление отчетности о прозрачности для моделей основания, Индекс предоставляет ценный ресурс для разработчиков, исследователей и журналистов для улучшения общего понимания.
Проверьте нашу статью, репозиторий на GitHub и проект. Вся заслуга за этот исследовательский проект принадлежит его исследователям. Также не забудьте подписаться на наш Twitter. Присоединяйтесь к нашему каналу в Telegram, группе в Discord и нашей странице в LinkedIn.
Если вам понравилась наша работа, вам обязательно понравится наш бюллетень.
Не забудьте присоединиться к нашему сообществу более чем 42 тыс. участников в нашем подразделении по машинному обучению на Reddit — 42k+ ML SubReddit.
Основные источники: MarkTechPost
«`
