Неудивительно, что другие компании, занимающиеся искусственным интеллектом (ИИ), спешат выпустить свои собственные большие языковые модели (LLM) — название технологии, лежащей в основе чат-ботов, например, ChatGPT. Некоторые из этих LLM будут включены в другие продукты, например, поисковые системы, пишет Tech Xplore.
Автор материала решил протестировать чат-бот на словесной игре Wordle. У игроков есть шесть попыток угадать слово из пяти букв. При каждом предположении игра показывает, какие буквы, если они есть, находятся на правильных позициях в слове.
Используя последнее поколение под названием ChatGPT-4, он обнаружил, что его производительность при решении этих головоломок была на удивление низкой. LLM «тренируются» на тексте, то есть они получают информацию, чтобы можно было совершенствоваться. ChatGPT-4 был обучен примерно на 500 млрд слов: вся Википедия, все общедоступные книги, огромные объемы научных статей и различные тексты.
Чат-боты с искусственным интеллектом могут сыграть важную роль в нашей жизни. Понимание того, почему ChatGPT-4 борется с Wordle, дает представление о том, как LLM представляют слова и работают с ними, а также о связанных с этим ограничениях.
Сначала автор материала протестировал ChatGPT-4 на головоломке Wordle, где он знал правильное расположение двух букв в слове. Шаблон был «#E#L#», где «#» – неизвестные буквы. Ответом было слово «mealy».
Пять из шести ответов ChatGPT-4 не соответствовали шаблону. Ответы были: «берилл», «дикий», «герал», «мерль», «ревель» и «жемчуг».
С другими комбинациями чат-бот иногда находил правильные решения. Но в целом получилось очень удачно. В случае слова, подходящего под шаблон «##OS#», было найдено пять правильных вариантов. Но когда шаблон был «#R#F#», он предлагал два слова без буквы F и слово «Traff», которого нет в словарях.
В основе ChatGPT лежит нейронная сеть – сложная математическая функция или правило, которое сопоставляет входные данные с выходными. Входы и выходы должны быть числами. Поскольку ChatGPT-4 работает со словами, их необходимо «перевести» в числа, чтобы нейросеть могла с ними работать.
Перевод выполняется компьютерной программой, называемой токенизатором, которая поддерживает огромный список слов и последовательностей букв, называемых «токенами». Эти токены идентифицируются номерами. Такое слово, как «друг», имеет идентификатор токена 6756, поэтому слово«дружба» разбито на токены «друг» и «корабль». Они представлены как идентификаторы 6756 и 6729.
Когда пользователь вводит вопрос, слова переводятся в числа еще до того, как ChatGPT-4 начнет обрабатывать запрос. Нейросеть не имеет доступа к словам в виде текста, поэтому она не может рассуждать о буквах.
ChatGPT-4 хорошо работает с первыми буквами слов. Автор материала попросил его написать стихотворение, в котором первая буква каждой строки гласила: «Я люблю роботов». Его реакция была на удивление хорошей.
Обучающие данные для ChatGPT-4 включают огромное количество учебников, в которых обычно есть алфавитные указатели. Этого могло быть достаточно, чтобы GPT-4 выучил ассоциации между словами и их первыми буквами.
Токенизатор, по-видимому, также был модифицирован для распознавания таких запросов и, скорее всего, разбивает фразу «Я люблю роботов» на отдельные токены, когда пользователи вводят свой запрос. Однако ChatGPT-4 не смог обработать запросы на работу с последними буквами слов.
ChatGPT-4 тоже плохо работает с палиндромами. На просьбу составить фразу-палиндром о роботе он предложил «сот робота, орба», что не подходит под определение палиндрома и опирается на непонятные слова.
Однако LLM относительно хороши в создании компьютерных программ. Это связано с тем, что их обучающие данные включают множество веб-сайтов, посвященных программированию. Автор материала попросил ChatGPT-4 написать программу для определения пропущенных букв в Wordle.
Первоначальная программа, созданная ChatGPT-4, содержала ошибку. Он исправил это, когда ему на это указали. Когда автор материала запустил программу, она обнаружила 48 правильных слов, соответствующих шаблону «#E#L#», включая «tells», «cells» и «hello». Когда он ранее напрямую просил GPT-4 предложить совпадения для этого шаблона, было найдено только одно.
Может показаться удивительным, что большая языковая модель, такая как ChatGPT-4, с трудом решает простые словесные головоломки или формулирует палиндромы, поскольку обучающие данные включают почти все доступные ей слова.
Однако это связано с тем, что все текстовые входы должны быть закодированы как числа, а процесс, который делает это, не фиксирует структуру букв в словах. Поскольку нейросети работают только с числами, требование кодировать слова как числа не изменится.
Есть два способа, с помощью которых будущие LLM смогут преодолеть это. Во-первых, ChatGPT-4 знает первую букву каждого слова, поэтому его обучающие данные можно дополнить, включив сопоставления позиций каждой буквы в каждом слове в его словаре. Во-вторых, будущие LLM смогут генерировать код для решения подобных проблем.
Человечество стоит на заре технологий, и подобное понимание текущих ограничений может привести к еще более впечатляющим результатам, которых достигнет ИИ.
Ранее LIVE24 сообщало, что художники объявили войну искусственному интеллекту, который копирует их стили.
