Ученые обнаружили, что ИИ переоценивает рациональность людей  

Экономисты НИУ ВШЭ обнаружили, что современные большие языковые модели склонны переоценивать способность человека к рациональному поведению во время экономических игр. Системы ИИ стараются предсказать поведение людей, но в итоге проигрывают, так как приписывают людям больше логики, чем те демонстрируют на деле.

Oб этом пишут исследователи в статье в научном издании Journal of Economic Behavior & Organization.

"Мы сейчас находимся в точке, когда во многих операциях ИИ-модели начинают заменять людей, и это позволяет повышать экономическую эффективность бизнес-процессов. Однако в задачах, которые связаны с принятием решений, часто необходимо быть уверенными в том, что модель искусственного интеллекта ведет себя похожим на человека образом. Мы изучили, как большие языковые модели ведут себя в классической игре на стратегическое мышление", - пишут ученые.

Данный эксперимент был проведен группой российских экономистов под руководством заведующего лабораторией факультета экономических наук НИУ ВШЭ (Москва) Дмитрия Дагаева. В его рамках ученые проверили способность популярных систем ИИ играть в "конкурс красоты" - стратегическую экономическую игру, которая была сформулирована еще в тридцатых годах прошлого века знаменитым британским экономистом Джоном Мейнардом Кейнсом.

В рамках этой игры ее участники должны выбрать шесть самых привлекательных лиц из ста фотографий, причем награду за этот выбор получит тот, кто сможет угадать самые популярные фото. Соответственно, для победы нужно не просто отобрать самые привлекательные лица, но и предугадать то, какое решение примут другие игроки. Подобное поведение характерно для брокеров, часто принимающих решения на базе прогнозирования поведения других участников фондового рынка.

Российские ученые адаптировали эту игру для работы с большими языковыми моделями и проследили за тем, как хорошо с этой задачей справлялись две популярных системы ИИ. В ее рамках нейросети и их "конкуренты"-люди должны были назвать число от нуля до ста, и победу в игре одерживал тот, чей ответ был наиболее близок к половине среднего от ответов всех участников. В рамках этой игры у ИИ был доступ к информации об образовании, настроении и других личностных характеристиках игроков-людей.

Проведенные экономистами наблюдения показали, что языковые модели умеют адаптироваться и способны менять стратегию поведения при взаимодействиях с противниками разного уровня, однако при этом они были склонны переоценивать компетенции и рациональность действий оппонентов-людей. Это иногда мешало им выбрать выигрышную стратегию и добиваться максимального результата, что следует учитывать при разработке ИИ-систем для оценки действий участников рынка и решения других экономических задач.