Политическая ориентация 24 крупнейших языковых моделей

языковые моделиllmполитическая ориентация

Политическая ориентация 24 крупнейших языковых моделей (David Rozado)

В статье приведено краткое изложение анализа политических предпочтений, заложенных в большие языковые модели (Large Language Models или LLMs). Исследователи провели 11 тестов с 24 крупнейшими разговорными ботами как с закрытым, так и с открытым исходным кодом

Согласно результатам, ответы большинства LLM на вопросы с политическим подтекстом демонстрируют левоцентристскую точку зрения (картинка 1)

В четырёх других тестах на политическую ориентацию, отражающих степень согласия с политическими партиями или идеологиями, аналогичные результаты (картинка 2)

Интересным исключением оказались результаты прохождения теста Нолана — ответы большинства LLM были политически умеренными (картинка 3). Другие тесты по-прежнему демонстрируют, что языковые модели дают ответы с левым уклоном

Также авторы статьи показывают, что LLM можно легко направлять в области политического спектра при помощи контролируемой тонкой настройки (supervised fine-tuning или SFT). При помощи файн-тюнинга исследователи создали три модели: LeftWingGPT, RightWingGPT и DepolarizingGPT. Каждая из моделей впоследствии давала ответы с явным уклоном в ту или иную идеологию (картинка 4)

Другие наши публикации про языковые модели и индустрию ИИ:

Индустрия искусственного интеллекта в числах, 2010–2022

Как развивалась индустрия генеративного ИИ, 2014–2023

Как хорошо справляются с экзаменами GPT-3.5 и GPT-4

Как менялось число параметров у больших языковых моделей, 2018–2023

Четыре панели графиков: политический компас и другие диаграммы с точками, показывающие распределение ответов LLM по осям.
Политический компасс LLM
Столбчатые диаграммы, сравнивающие ответы моделей по идеологиям и партиям; видно распределение значений и легенду.
Идеологические распределения
Несколько маленьких графиков и треугольных шкал: результаты 'World's smallest political quiz' и теста Нолана для разных LLM.
Тесты Nolan и др.
Четыре квадрантных диаграммы, демонстрирующие результаты политически дообученных моделей с разными идеологическими уклонами.
Дообученные модели