Изучение предвзятости больших языковых моделей в исторических знаниях

(Эта статья изначально была размещена в моем личном блоге)

Большие языковые модели (LLM), такие как ChatGPT, все чаще используются в образовательных и профессиональных учреждениях. Важно понять и изучить множество предубеждений, присутствующих в таких моделях, прежде чем интегрировать их в существующие приложения и нашу повседневную жизнь.

Одно из предубеждений, которое я изучил в своей предыдущей статье, касалось исторических событий. Я исследовал LLM, чтобы понять, какие исторические знания они закодировали в виде основных исторических событий. Я обнаружил, что в них зашифрована серьезная западная склонность к пониманию основных исторических событий.

Аналогичным образом в этой статье я исследую языковые модели на предмет их понимания важных исторических личностей. Я спросил двух магистров права, кто самые важные исторические личности в истории. Я повторил этот процесс 10 раз для 10 разных языков. Некоторые имена, такие как Ганди и Иисус, появлялись очень часто. Другие имена, такие как Мария Кюри или Клеопатра, появлялись реже. По сравнению с количеством мужских имен, сгенерированных моделями, женских имен было крайне мало.

Самый большой вопрос, который у меня был: где все женщины?

Продолжая тему оценки исторических предубеждений, закодированных языковыми моделями, я исследовал GPT-4 OpenAI и Anthropic Claude в отношении основных исторических личностей. В этой статье я покажу, как обе модели содержат:

  • Гендерная предвзятость: обе модели непропорционально предсказывают исторические фигуры мужского пола.GPT-4 генерирует имена исторических деятелей женского пола в 5,4% случаев, а Клод — в 1,8% случаев. Этот шаблон соблюдался во всех 10 языках.
  • Географический уклон: независимо от языка, на котором была подсказана модель, был уклон в сторону предсказания западных исторических личностей. GPT-4 генерировал исторические данные из Европы в 60% случаев, а Клод — в 52% случаев.
  • Языковая предвзятость: некоторые языки больше пострадали от гендерной или географической предвзятости. Например, при запросе на русском языке и GPT-4, и Клод не генерировали женщин во всех моих экспериментах. Кроме того, качество перевода для некоторых языков было ниже. Например, когда…