Nous Research переобучила Alibaba Qwen3.8-27B и выпустила модель Arete с «западными ценностями»
Американская лаборатория Nous Research провела дополнительное обучение открытой ИИ-модели Alibaba Qwen3.8-27B, чтобы избавить её от «китайских корней». Переработанная версия получила название Arete.
Цель проекта его авторы описывают так: «утвердить западные ценности в модели, изначально обученной в Китае». По их словам, новая версия даёт ответы, которые создатели исходной модели сочли бы приемлемыми не всегда.
Своё решение в Nous Research объяснили так: «китайские модели с открытыми весами — одни из самых мощных на сегодняшний день, но в их веса изначально заложено поведение, отвечающее государственной идеологии Китая». Разработчики добавляют, что риски не сводятся к продвижению идеологии Пекина: при определённых условиях такие модели могут генерировать уязвимый программный код.
Похожий эксперимент ранее провела компания Hirundo с моделью Qwen3.6-35B-A3B. Доля ответов, соответствовавших установкам Пекина, у неё упала с 89,8 % до 2,8 %. У Nous Research результат скромнее, хотя тоже заметный: фактическая точность Arete-27B выросла с 2,32 до 2,98 балла по пятибалльной шкале, а доля ответов с пропагандой сократилась с 22 % до 1 %.
В качестве основы для переобучения рассматривали Nvidia Nemotron 3 Ultra, но от неё отказались: по словам исследователей, она «демонстрировала неоднозначный подход к связанным с Китаем темам». Такой эффект связали с тем, что при обучении самой Nemotron могли использовать китайские модели. В итоге выбор пал на открытую модель Inkling от американской лаборатории Thinking Machines Lab.
Опыт показал: пропагандистский пласт в Alibaba Qwen3.8-27B лежит неглубоко и снимается на обучающем объёме данных в 50 млн токенов.
