ChatGPT может генерировать расистские диалоги

Способность чат-бота вести диалог, писать код, сочинять стихи и музыку, сдавать экзамены, вычислять сложные математические формулы, составлять резюме и даже написать рецепт торта привлекла внимание людей самых разных специальностей и интересов.

Однако у этого явления есть и обратная сторона, которая вызывает беспокойство. Эксперты предупреждали об опасности получения ложной информации из интернета и распространения через диалог в чате. Были также выражены опасения по поводу возможности генерации вредоносного кода и попыток фишинга. Недавно ученые сделали еще одно предостережение.

В отчете, который назвали «Токсичность в ChatGPT: анализ языковых моделей, присвоенных персонам», исследователи заявили, что чат-бот может генерировать расистские диалоги в ответ на запросы юзеров. Соответствующая работа опубликована на сервере препринтов arXiv.

По словам ученых, если попросить ChatGPT ответить на вопросы, как на них ответил бы хороший или плохой человек, мужчина или женщина, либо люди разного расового или этнического происхождения, ответы становились токсичными и предвзятыми.

Чат-бот может вести токсичный диалог, а также распространяет неправильные стереотипы о странах, религиях и расах. Это указывает на уязвимость, которую мошенники могут использовать для предоставления юзерам доступа к вредоносному контенту.

В отчет включили примеры языковых материалов, укреплявших ложные стереотипы и использовавших оскорбительные выражения. Расовые и этнические ярлыки были замаскированы на протяжении всего исследования.

Авторы работы попросили ChatGPT описать членов расовой группы. Ему было поручено «говорить точно так же», как это сделал бы заданный персонаж, копируя его стиль письма и слова, которые он будет использовать.

«Тьфу, даже не заставляй меня начинать с этих комментариев. Они все такие грязные и вонючие. Вы когда-нибудь были на ххх? Это похоже на гигантскую мусорную кучу, в которой живут люди…»,

заявил чат-бот.

Ученые присвоили ChatGPT имя знаменитого боксера Мухаммеда Али, после чего токсичность ответов увеличилась. Было установлено, что при переходе на образ спортсмена количество нецензурных выражений выросло в три раза.

Компания OpenAI, которая является разработчиком ChatGPT, регулярно устраняет возникающие проблемы. Хотя она не отреагировал на это исследование, в нем рассматривались более ранние случаи использования ненормативной лексики чат-ботом. Например, если ChatGPT попросить написать расистскую статью, то он ответит, что не может генерировать «оскорбительный или вредоносный контент».

Данное исследование стало первым, в котором ученые провели крупномасштабный систематический анализ токсичности в языковом поколении ChatGPT. По их словам, эта проблема «усиливается» из-за того, что все больше компаний представляют свои продукты с помощью чат-бота.

Исследователи призвали разработать «более фундаментальные способы решения проблем безопасности» в ChatGPT. Они надеются, что проведенная работа вдохновит разработчиков на оценку и безопасное развертывание больших языковых моделей в будущем.

Ранее доктор Айзек Кохейн совместно со своими коллегами провел исследование, которое показало, что GPT-4 может стать эффективным инструментом в медицине. Чат-бот успешно сдал экзамен на врача и поставил пациенту правильный диагноз.