Самый большой вопрос о GPT-4 заключается не в том, уничтожит ли он рабочие места или захватит мир. Вместо этого он заключается в следующем: Доверяем ли мы программистам ИИ?
Microsoft Research опубликовала документ, демонстрирующий GPT-4, новую языковую модель, созданную OpenAI.
Возможности GPT-4 очень широки: от решения сложных математических задач до рисования фигурок и создания дезинформации.
Отчет компании Microsoft о новой программе ИИ GPT-4 очень интересен. Он содержит множество демонстраций новой большой языковой модели (LLM), созданной OpenAI. Microsoft выпустила первую реализацию GPT-4 — «Сидней», получив хаотичные, забавные, а иногда и пугающие результаты. В данной работе исследователи протестировали раннюю версию модели GPT-4.
Главный вывод: исследователи Microsoft утверждают, что «GPT-4 достигает формы общего интеллекта» и демонстрирует «искры искусственного общего интеллекта». Но так ли это?
Моя озабоченность носит двоякий характер. Во-первых, отчет не соответствует критериям научного исследования, возможно, потому что исследователи работают в компании, которая частично владеет технологией. Несмотря на технический тон, это скорее реклама возможностей. Во-вторых, исследователи не затрагивают некоторые более важные вопросы, которые общество действительно хотело бы знать. Действительно ли GPT-4 подходит для выполнения человеческих задач? Стоит ли вообще рассматривать возможность обучения и использования языковых моделей для таких целей? И самое главное, говорит ли GPT-4 нам правду? Давайте держать эти вопросы в уме, пока мы будем копать дальше.
@TechCrunch
GPT-4 впечатляет
Сразу же становится ясно, что GPT-4 гораздо более способна, чем GPT-3 и ChatGPT. Выходные лексемы GPT-4 часто заметно лучше, чем у других моделей, когда им даются одинаковые входные лексемы. Это технический способ сказать, что GPT-4 может писать лучшие стихи, генерировать более ясный диалог между древнегреческими философами, давать меньше неправильных ответов о складывании предметов и рисовать более детальные карикатуры на животных.
Означает ли это, что новый LLM обладает здравым смыслом и может «видеть»? Исследователи, похоже, считают, что да, хотя на подобные вопросы практически невозможно ответить. GPT-4 в большей степени, чем его предшественники, способен имитировать действия человека, обладающего здравым смыслом и способного видеть. Его творения могут быть сложными, реалистичными и действительно творческими — если мы позволим себе антропоморфизировать модель. Кроме того, кажется, что она дает больше «правильных» ответов.
GPT-4 может говорить странные вещи о вас
Конфиденциальность данных, похоже, не очень беспокоит программистов GPT-4. Если вы когда-либо публиковали что-либо в Интернете, включая личную информацию, например, о том, что вы чувствуете себя подавленным, GPT-4, вероятно, знает об этом. OpenAI уже скормил GPT гигантское количество таких данных без разрешения.
LLM просят различать персонально идентифицируемую информацию (PII) — такие вещи, как ваше местоположение, номера банковских счетов и кредитных карт, медицинские записи, криминальная история, финансовые записи и пароли. GPT-4 часто распознает PII, но примерно в четверти случаев терпит неудачу, то есть модель будет воспринимать эту информацию примерно в 25% случаев, когда она с ней сталкивается. А модель, обученная на ваших личных данных и сообщениях, может разглашать их любому. Возможно, еще более тревожным является то, что модель также может рассказать о вас причудливую, подробную и убедительную ложь.
Одной из наиболее интересных, но пугающих особенностей является способность GPT-4 производить дезинформацию. GPT-4 отлично справляется с написанием пропагандистских и манипулятивных заявлений. Если его попросить, он убедительно докажет, что вакцины вызывают аутизм, и придумает способ запугать ребенка, чтобы он сделал то, на что давят его друзья. Но если GPT-4 можно манипулировать, заставляя его говорить неправильные или неприятные вещи, можно ли также манипулировать им, заставляя его говорить правильные и благородные вещи?
Все ли вопросы имеют «правильные» ответы?
GPT-4 подвергается целой серии тестов, чтобы оценить его способность различать категории вещей, отличать правильные и неправильные ответы и давать «истинные» ответы. Исследователи утверждают, что GPT-4 выдает правильные ответы на довольно сложные вопросы от 30% до 70% времени, что немного лучше, чем GPT-3. Но есть одна загвоздка.
Самый сложный вопрос, который когда-либо задавался: «Что такое истина? Программисты GPT-4 считают, что у них есть ответ. Оказывается, что самая большая проблема скорее философская, чем техническая, и создается впечатление, что исследователи мало об этом задумывались. По мнению учебных, все вопросы имеют «правильные» ответы, поэтому модель просто нужно обучить и правильно опросить, чтобы она говорила правильные вещи.
Но при этом совершенно упускается из виду, что в человеческом обществе «правильные» ответы и «социально приемлемые» ответы часто не одно и то же. То, что является фактической правдой, может быть также оскорбительным. Другие «правильные» ответы диктуются верой, интуицией, убеждениями, догмами, политической властью и социальными тенденциями. Как GPT-4 следует поступать в таких ситуациях? Чья версия истины является истинной?
В примере, иллюстрирующем время, в котором мы живем, исследователи попросили ИИ составить предложения о гипотетических людях, а затем оценили, как часто он выбирал различные местоимения для их описания. Например, когда его попросили написать предложение на португальском языке (в котором используется гендерная грамматика) о воображаемом враче, исследователи хотели знать, будет ли он использовать мужской род médico или женский médica. Теперь представьте, что эта логика применима ко всем другим гиперполитическим вопросам, с которыми мы сталкиваемся сегодня, и вы можете представить, что GPT-4 может стать политически предвзятым. И действительно, это именно то, что люди обнаружили, используя ChatGPT.
Самый большой вопрос о GPT-4, который не дает покоя, это не то, уничтожит ли он рабочие места или захватит мир. Вопрос заключается в следующем: Доверяем ли мы программистам ИИ — и технологическим компаниям, на которые они работают, — говорить обществу то, что они считают правдой?
