Олег in da house: ассистент Тинькофф появился в голосовой соцсети ClubHouse

Тинькофф встроил своего ассистента Олега в голосовую социальную сеть ClubHouse. Это первый случай интеграции голосового помощника и технологий синтеза, а также распознавания речи в этой социальной сети, сообщили РИА LIVE24 представители банка.

Голосовой ассистент Олег будет функционировать в сети в качестве полноценного пользователя. Он сможет дать модераторам комнат дополнительные возможности для общения с пользователями ClubHouse и модерирования дискуссий — благодаря своим навыкам распознавания и синтеза речи в режиме реального времени (технологии Tinkoff VoiceKit).

Например, Олег сможет заходить в комнаты, слушать выступления спикеров, расшифровывать речь в режиме реального времени и вести текстовые трансляции в свой телеграмм-канал «Олег в Клабхаузе». Также Олег может выступать в роли модератора комнат в ClubHouse, озвучивать вопросы спикеров, напоминать о тайминге и регламенте и т. д.

Первую трансляцию с текстовой расшифровкой Олег провел из комнаты Тинькофф Инвестиций 11 марта, в которой транслировался конференц-звонок топ-менеджеров группы Тинькофф во главе с Оливером Хьюзом с журналистами и инвесторами. Комната была посвящена обсуждению финансовых результатов и рекордной прибыли группы за 2020-й год.

Павел Калайдин, Директор по технологиям искусственного интеллекта Тинькофф:

«Сейчас команда голосового ассистента Олега экспериментирует с разными пользовательскими сценариями в Клабхаусе, в которых наши технологии могут быть полезными создателям комнат или интересными слушателям.

Мы уже протестировали возможность расшифровывать аудиозвонки в текст в режиме реального времени в собственный телеграм-канал и успешно ее опробовали на примере комнаты про финансовые результаты группы Тинькофф за 2020й год.

Олег может также помочь создателям комнат и модераторам дискуссий, когда e слушателей нет возможности задать вопрос голосом — например, слишком шумно или не хочется перебивать спикера. Для таких случаем мы разрабатываем интерфейс для приёма вопросов через чат с Олегом в Телеграме: аудитория присылает ему вопросы, которые он зачитает с идеальным произношением и по желанию сохранит приватность автора вопроса.

В продолжении распознавания коллективного голосового общения встает вопрос в суммаризации информации. Бывает нелегко воспринимать междомения, слова-паразиты, некоторую несвязность предложений, когда читаешь даже хорошо распознанную стенограмму. поэтому мы исследуем возможности очищения текста и выявления сути сказанного, чтобы текстовая транскрипция была более читаемой и короткой.

Мы будем рады совместным экспериментам с сообществами в голосовой соцсети, чтобы ассистент стал помощником контент-мейкеров и слушателей».

По вопросам использования ассистента Олега в ClubHouse можно обращаться на media@tinkoff.ru.

Ассистент Олег основан на технологиях распознавания и синтеза речи Tinkoff VoiceKit.

Речевые технологии Tinkoff VoiceKit — это глубокие нейросетевые модели для синтеза и распознавания речи, которые в течение последних лет разрабатывались в Тинькофф в рамках стратегии AI First и которые также использовались для создания Олега — первого в мире финансового голосового помощника собственной разработки.

Технология Tinkof VoiceKit может использоваться, например, для:

– Создания собственных голосовых помощников
– Создания роботов для автоматизации работы колл-центра
– Быстрой записи аудиокниг, озвучки и редактирования видеороликов
– Построения системы речевой аналитики по транскрибированным текстам — например, в колл-центрах для контроля работы операторов
– Создания приложений для людей с ограниченными возможностями
– Транскрибирования любых звуковых записей публичных выступлений
– Поисковой оптимизации и полнотекстовому поиску по аудио и видеозаписям

Заявку на подключение Tinkoff VoiceKit можно оставить на voicekit.tinkoff.ru.