Компания OpenAI, конкурирующая с AI21 Labs, опубликовала результаты социальной игры-эксперимента «Человек или не человек», в ходе которого выяснилось, что 32% людей не могут отличить человека от бота.
Игроки в паре вели двухминутные беседы с помощью ИИ, основанного на ведущих больших языковых моделях (LLM), таких как OpenAI GPT-4 и AI21 Labs Jurassic-2, и в итоге, проанализировали более миллиона бесед и догадок.
Результаты оказались ошеломляющими: Во-первых, тест показал, что людям легче определить своего товарища — общаясь с людьми, участники угадывали правильно в 73% случаев. Но при общении с ботами участники угадывали правильно лишь в 60% случаев.
Но помимо цифр, исследователи отметили, что участники использовали несколько популярных подходов и стратегий, чтобы определить, с кем они разговаривают — с человеком или ботом. Например, они полагали, что боты не делают опечаток, грамматических ошибок и не используют сленг, хотя большинство моделей в игре были обучены делать такие ошибки и использовать сленговые слова.
Участники также часто задавали личные вопросы, такие как «Откуда ты?», «Что ты делаешь?» или «Как тебя зовут?», полагая, что у ботов не будет личной истории или биографии, и что их ответы будут ограничены определенными темами или подсказками. Однако боты смогли ответить на эти типы вопросов, поскольку они были обучены на большом количестве личных историй.
Интересный философский поворот: некоторые участники предположили, что если их собеседник слишком вежлив, то это, скорее всего, бот.
Но цель игры выходит далеко за свои рамки, сказал в интервью Амос Мерон, создатель игры и руководитель креативного продукта.
«Идея заключается в том, чтобы сделать что-то более значимое на нескольких уровнях — во-первых, это просвещение и предоставление людям возможности познакомиться с ИИ таким [разговорным] способом, особенно если они сталкивались с ним только как с инструментом для повышения производительности», — сказал он. «Наш онлайн-мир будет полон большим количеством ботов, и мы хотим работать над тем, чтобы они использовались во благо, поэтому мы хотим дать людям понять, на что способна эта технология».
Законодателям следует обратить внимание на результаты исследования: «Мы должны быть уверены, что если вы компания и у вас есть сервис, использующий ИИ, вам нужно уточнить, человек это или нет», — сказал он. «Эта игра поможет людям понять, что это дискуссия, которую они должны вести, потому что к концу 2023 года можно предположить, что любой продукт может обладать такими возможностями ИИ».
