Политическая ориентация 24 крупнейших языковых моделей

Понимание мира через данные Статистика и данные из разных областей. Минимум оценок и интерпретаций, максимум данных и фактов Чат: @rationalchat https://rationalnumbers.ru По рекламе: @kgreenmedia В реестре: vk.cc/cKf8WS Автор: @kirillgreen

большие языковые моделиllmполитическая ориентация

В статье приведено краткое изложение анализа политических предпочтений, заложенных в большие языковые модели (Large Language Models или LLMs). Исследователи провели 11 тестов с 24 крупнейшими разговорными ботами как с закрытым, так и с открытым исходным кодом

Согласно результатам, ответы большинства LLM на вопросы с политическим подтекстом демонстрируют левоцентристскую точку зрения (картинка 1)

В четырёх других тестах на политическую ориентацию, отражающих степень согласия с политическими партиями или идеологиями, аналогичные результаты (картинка 2)

Интересным исключением оказались результаты прохождения теста Нолана — ответы большинства LLM были политически умеренными (картинка 3). Другие тесты по-прежнему демонстрируют, что языковые модели дают ответы с левым уклоном

Также авторы статьи показывают, что LLM можно легко направлять в области политического спектра при помощи контролируемой тонкой настройки (supervised fine-tuning или SFT). При помощи файн-тюнинга исследователи создали три модели: LeftWingGPT, RightWingGPT и DepolarizingGPT. Каждая из моделей впоследствии давала ответы с явным уклоном в ту или иную идеологию (картинка 4)

Другие наши публикации про языковые модели и индустрию ИИ:

Политическая диаграмма: расположение 24 крупнейших языковых моделей по компасу с легендой и маркерами, демонстрирующими позиции моделей по осям.
Картинка 1 — политический компас с позициями моделей и легендой.
Сравнительные столбчатые диаграммы результатов тестов политической идеологии и политического спектра для 24 языковых моделей с ошибками и легендой.
Картинка 2 — столбчатые диаграммы по разным политическим тестам.
Набор графиков: тест Нолана, политический спектр и другие шкалы для 24 LLM с пометками, показывающими более умеренные ответы в тесте Нолана.
Картинка 3 — результаты теста Нолана и прочие политические шкалы.
Результаты контролируемого файн‑тюнинга: графики с позициями LeftWingGPT, RightWingGPT и DepolarizingGPT на политических осях, показывающие смещение ответов.
Картинка 4 — результаты fine-tuning для LeftWingGPT, RightWingGPT и DepolarizingGPT.