Машинное обучение хотят применять для поиска опасных сообщений в Instagram*

Команда, возглавляемая исследователями из Университета Дрекселя, Бостонского университета, Технологического института Джорджии и Университета Вандербильта, недавно опубликовала совместную работу — исследование, которое помогло понять, какой тип входных данных (метаданные, текст и изображения) может быть наиболее полезным для модели машинного обучения, чтобы выявлять опасные сообщения. Их результаты показали, что такие диалоги можно обнаружить по характеристикам метаданных: продолжительности общения и степени вовлеченности пользователей.

Усилия исследователей направлены на решение растущей проблемы среди молодых людей в возрасте от 13-21 лет. Ученые выяснили, что домогательства в Instagram* приводят к резкому всплеску депрессии среди молодежи, а также росту психических заболеваний и расстройств пищевого поведения среди девочек-подростков.

Instagram* стал популярен у молодежи из-за того, что его пользователи чувствуют себя в безопасности при общении с другими людьми. Однако в последнее время появляется все больше сообщений о домогательствах, оскорблениях и запугиваниях молодых юзеров.

В то же время платформы испытывают все большее давление в плане защиты конфиденциальности своих пользователей. Многие теперь внедряют сквозное шифрование, чтобы защитить содержимое переписки. Однако такой подход затрудняет использование платформами автоматизированных технологий для обнаружения и предотвращения различных рисков.

Один из способов справиться с всплеском злоумышленников в масштабе, который может защитить уязвимых пользователей, — это автоматизированные программы обнаружения рисков. Их необходимо спроектировать с соблюдением этических норм, чтобы они были точными, но при этом не нарушали конфиденциальность. Важно поставить безопасность и конфиденциальность молодого поколения в приоритет при внедрении функций безопасности, таких как сквозное шифрование, говорят ученые.

Разработанная ими система использует алгоритмы машинного обучения в многоуровневом подходе, который создает профиль метаданных опасных сообщений. В их тестировании программа показала точность на уровне 87% при выявлении таких диалогов.

Чтобы обучить и протестировать систему, исследователи собрали и проанализировали более 17 тысяч приватных чатов от 172 пользователей Instagram* в возрасте 13-21 лет, которые сами предоставили их. Участников попросили просмотреть сообщения и отметить каждое из них как «безопасное» или «небезопасное». Порядка 3,3 тысячи сообщений были отмечены как «небезопасные» и отнесены к одной из пяти категорий риска: домогательства, сексуальные сообщения/приставания, нагота/порно, разжигание ненависти, пропаганда незаконной деятельности.

Используя случайную выборку из каждой категории, команда ученых применила несколько моделей машинного обучения для извлечения набора функций метаданных, таких как средняя продолжительность диалога, количество вовлеченных пользователей, число отправленных сообщений, время ответа и т. д. Эти данные позволили создать программу, которая может работать, используя только метаданные.

Проведенная работа предоставляет возможности для будущих исследований. Во-первых, обнаружение рисков только на основе функций метаданных позволяет использовать легкие методы обнаружения, которые не требуют дорогостоящих вычислений, связанных с анализом текста и изображений. Во-вторых, разработка систем, которые не анализируют контент, облегчает некоторые проблемы конфиденциальности и этики, возникающие в соцсетях, обеспечивая защиту пользователей.

Ученые признали, что у их исследования есть ограничения, поскольку они рассматривали только сообщения в Instagram*, хотя систему можно адаптировать для анализа сообщений на других платформах, которые подлежат сквозному шифрованию. Они также отметили, что программа могла бы стать еще более точной, если бы ее обучение продолжалось с большей выборкой сообщений.

Проведенная работа помогла понять, что эффективное автоматическое обнаружение опасных сообщений – это реальный инструмент. Хотя защита конфиденциальности является серьезной проблемой, существуют способы добиться прогресса в этом вопросе. Исследователи утверждают, что эти шаги нужно обязательно предпринять, чтобы защитить наиболее уязвимых пользователей социальных сетей.

*Деятельность компании Meta (социальные сети Facebook, Instagram) запрещена в РФ как экстремистская.