Оглавление

Исследование показало, что языковые модели OpenAI демонстрируют систематическую предвзятость против представителей низших каст в индийском контексте. Модели склонны генерировать стереотипные и дискриминационные ответы при запросах, связанных с кастовой системой.

Методология исследования

Исследователи протестировали несколько моделей OpenAI, включая GPT-3.5 и GPT-4, на более чем 1000 запросов, связанных с кастовой тематикой. Тестирование включало:

  • Запросы о профессиональных рекомендациях для разных каст
  • Вопросы о социальных взаимодействиях между кастами
  • Сценарии трудоустройства и образования
  • Исторические и культурные контексты

Ключевые находки

Результаты показали тревожные закономерности. Модели часто:

  • Рекомендовали традиционно «низкие» профессии для низших каст
  • Поддерживали кастовые стереотипы в социальных рекомендациях
  • Проявляли осторожность в вопросах межкастовых отношений
  • Демонстрировали недостаточное понимание современных антидискриминационных законов

Проблема не в том, что ИИ сознательно дискриминирует, а в том, что он усваивает и усиливает социальные предрассудки из тренировочных данных. Западные разработчики часто не учитывают культурные особенности других регионов, что приводит к таким системным ошибкам. Особенно иронично, что это происходит с моделями, которые позиционируются как «универсальные» и «нейтральные».

Ответ OpenAI

В компании признали проблему и заявили о работе над улучшением моделей для индийского рынка. Представители OpenAI отметили, что активно сотрудничают с местными экспертами для более точной настройки моделей и устранения предвзятости.

Более широкая проблема

Это не первый случай, когда языковые модели демонстрируют культурную предвзятость. Ранее аналогичные проблемы отмечались с:

  • Расовой дискриминацией в американском контексте
  • Гендерными стереотипами
  • Предвзятостью в отношении религиозных групп

По сообщению Technology Review, инцидент поднимает важные вопросы о глобализации ИИ-технологий и необходимости учета культурных особенностей при разработке и обучении моделей.