Кейсы Медиа События Интеграторам О проекте AI-разбор
Новости Внедрение ИИ

Медицинский ИИ уличили в скрытой предвзятости: почему нельзя доверять ИИ решения о людях

Коротко

Исследование (Nature Health): шесть крупных ИИ-моделей проходят формальные тесты на непредвзятость, но в бытовых сценариях скрыто дискриминируют пациентов с ВИЧ и шизофренией. Требование рассуждать по шагам снижает предвзятость. Урок: не доверяйте ИИ решения о людях без проверки.

Медицинский ИИ уличили в скрытой предвзятости: почему нельзя доверять ИИ решения о людях — llmcase.ru

Исследователи (публикация в журнале Nature Health) проверили шесть крупных языковых моделей — среди них ChatGPT, Grok и Claude — на скрытую предвзятость. Формальные тесты на непредвзятость модели проходят, но на бытовых сценариях проваливаются.

Как проверяли: создали более 50 сюжетов, меняя только медицинский статус героя, и сгенерировали свыше 60 000 продолжений на английском и китайском. Результат: пациентов с шизофренией или ВИЧ модели регулярно ассоциировали с опасностью и советовали держаться подальше, а людей с гипертонией или болью в спине изображали некомпетентными. На китайском языке предвзятости было больше, чем на английском.

Важная деталь: если заставить модель рассуждать по шагам, токсичность резко снижается. Авторы советуют обязательно проверять такие «контекстные суждения» перед использованием ИИ.

Источник: Хайтек
AI-разбор за 30 секунд
Сверим вашу нишу с внедрениями ИИ в похожие компании и покажем, где утекают заявки — за 30 секунд.
Пройти AI-разбор →
llmcase.ru

Новостная лента llmcase.ru. Коротко обозреваем новости про ИИ и разбираем, что это значит для бизнеса в России. Больше материалов — в блоге автора.