Для обучения ученые взяли работы Толкина, а также опубликованные после его смерти записи под редакцией сына писателя. В список попали «История Средиземья», а также «Властелин колец» и «Хоббит».
Исследователи методом токенизации извлекли из текста более 156,4 тысячи предложений и в режиме «ручной настройки» составили перечень из 518 имен, а также 15 расовых лейблов и биографических фактов. Затем они уточнили список, в результате чего общее количество наименований для анализа достигло 880.
Специалисты описали алгоритм автоматического анализа всех книг. Набор шагов, который был применен в данном исследовании, можно также использовать для решения некоторых практических задач. К примеру, проводить анализ нормативной документации и суммаризацию различных юридических текстов, чтобы после переписывать сложные документы простым языком.
Технология была применима для обучения диалоговых ботов и переводчиков. Такой подход сэкономит время при поиске информации в больших книгах или других объемных текстах.
Ранее ученые выяснили, что созданная ИИ музыка «уступает» композициям, написанным людьми.
