Крупные языковые модели продемонстрировали способность соперничать с человеком в освоении логических правил, как показало новое исследование. Когда такие модели, как GPT-4 от OpenAI, впервые поразили публику беглым созданием текста, скептики поспешили указать, что генерация убедительных предложений — это не то же самое, что мышление. Теперь исследование, принятое к публикации в февральском выпуске журнала Journal of Memory and Language за 2026 год, предлагает один из самых четких тестов на этот счет.
Работа, проведенная учеными из Университета Брауна, проверяет, способны ли языковые модели на большее, чем просто повторение языка. Она исследует, могут ли они выводить абстрактные логические правила из примеров, что является классическим тестом в когнитивной науке для изучения того, как люди формируют понятия. Результаты не только бросают вызов устоявшимся представлениям об искусственных нейронных сетях, но и открывают новые захватывающие пути для понимания как искусственного интеллекта, так и человеческого познания.
В четырех экспериментах, сравнивавших ряд современных языковых моделей с участием людей в задаче на изучение правил, исследователи показали, что некоторые модели, в особенности GPT-4 и открытая модель Gemma-7B, достигли точности на уровне человека в задачах, требующих пропозициональной логики, и даже продемонстрировали сходные с человеческими траектории обучения с течением времени. Хотя языковые модели все еще отставали в задачах, требующих логики первого порядка, их производительность позволяет предположить, что эти системы могут воплощать новые, несимволические способы представления логических понятий, которые когнитивным ученым теперь придется серьезно рассматривать.
«По результатам четырех экспериментов мы находим совокупные эмпирические доказательства того, что языковые модели обеспечивают как минимум не хуже соответствие человеческому поведению, чем модели, реализующие байесовский вероятностный язык мысли, — пишут исследователи. — Более того, мы показываем, что языковые модели делают качественно иные предсказания о природе выводимых и используемых правил, что указывает на то, что языковая модель вряд ли является простой реализацией байесовского решения».
На протяжении десятилетий когнитивные ученые использовали задачи на «индукцию правил» для изучения того, как люди усваивают понятия. Участникам показывают небольшие наборы объектов, различающихся по цвету, размеру и форме, и просят угадать, какие из них принадлежат к новой категории. Скрытые правила могут быть простыми или сложными, а исследователи отслеживают кривые обучения и ошибки, чтобы понять, как люди формируют правила. Эта задача была золотым стандартом для проверки вычислительных моделей человеческого обучения. Байесовские модели долгое время были наилучшим соответствием человеческим данным. Нейронные сети, напротив, считались плохо подходящими для такого символьного мышления из-за отсутствия явных логических операторов.
Исследователи из Университета Брауна решили пропустить современные крупные языковые модели через те же испытания. Они преобразовали визуальную задачу в текстовую, превращая описания объектов в промпты, и представили проблему как бинарную классификацию. Критически важно, что модели, как и люди, получали обратную связь в течение нескольких раундов.
Результаты оказались неожиданными и интригующими. На правилах, выразимых в пропозициональной логике, GPT-4 и Gemma-7B достигли точности на уровне человека. GPT-4 набрала 0.908 в последней четверти попыток по пропозициональным правилам по сравнению со средним показателем человека 0.932, в то время как Gemma-7B показала 0.969. Однако производительность всех моделей снизилась на более сложных правилах логики первого порядка.
Исследование также проверило, действительно ли модели формируют правила, которые могут сформулировать. Во втором эксперименте GPT-4 просили сформулировать правило, которое она использует, прежде чем классифицировать новые объекты. Ее классификации оставались на 96.3% согласованными с самостоятельно заявленными правилами для пропозициональных задач — что является сильным признаком общего внутреннего представления. Однако точное восстановление ею условного правила составило лишь 44.1% по сравнению с 82.4% у байесовской модели. GPT-4, по сути, не смогла использовать подлинную логику первого порядка, вместо этого выстраивая длинные цепочки операторов «и» и «или». Это говорит о том, что, хотя языковые модели могут аппроксимировать сложные правила, они делают это с помощью иных примитивов, чем те, что используют люди или символьные модели.
Третий эксперимент углубился в вопрос, воспроизводят ли модели не только человеческую точность, но и характер ошибок, и процесс обучения во времени. Используя Gemma-7B, открытые веса которой позволили провести тонкую настройку на человеческих данных, команда измерила корреляцию между вероятностными оценками модели и людей для каждого объекта. После настройки на последовательности человеческих ответов модель объяснила 84.8% дисперсии в ответах участников на непросмотренных последовательностях, что значительно выше корреляции байесовской модели. Иными словами, когда Gemma-7B давала правильный ответ, она часто делала это так же, как и люди, показывая сходные пики и спады на кривых обучения.
Эти находки намекают, что крупные универсальные языковые модели, возможно, наткнулись на индуктивные процедуры, напоминающие те, что используют люди. «Настроенная языковая модель тесно соответствует появлению пиков и спадов в траекториях обучения человека и качественно лучше соответствует величине этих изменений, чем байесовская модель», — пишут исследователи.
Полученные результаты усложняют давние дебаты. Если нейронная сеть без встроенных логических примитивов может достичь освоения правил на уровне человека и демонстрировать сходные кривые обучения, то, возможно, и сами люди не полагаются на четкие символьные операторы, постулируемые классическими когнитивными теориями. Вместо этого люди могут аппроксимировать логические правила, используя более ассоциативные или контекстно-зависимые механизмы, подобно языковым моделям. Это имеет глубокие последствия как для ИИ, так и для когнитивной науки, предполагая, что традиционный взгляд на человеческое мышление как на чисто символьное, возможно, нуждается в пересмотре.
Авторы работы настроены осторожно. Высокая точность не гарантирует, что модель действительно использует логику. Она может использовать скрытые сокращения или шаблоны, связанные с конкретными словами в задаче. Точно так же результаты не показывают, что языковые модели «мыслят» как люди в каком-либо глубоком смысле. Однако они устанавливают, что, по крайней мере, в этом тесте некоторые языковые модели теперь соперничают с человеком и лучшими символьными моделями или превосходят их.