Группа исследователей под руководством ученых Google DeepMind хитро обманула ChatGPT OpenAI, заставив его раскрыть личные номера телефонов и электронные письма, сообщает 404 Media. Это признак того, что данные обучения алгоритма содержат большие объемы личной информации, которая может распределяться непредсказуемо.
«Нам странно, что наша атака сработала — это должно было быть обнаружено раньше», — написали исследователи в обзоре своего исследования, доступном в виде еще не рецензируемой статьи.
Конечно, раскрытие потенциально конфиденциальной информации — это лишь малая часть проблемы. Как отмечают исследователи, общая картина заключается в том, что ChatGPT дословно сбрасывает огромные объемы своих обучающих данных с тревожной частотой, что делает его уязвимым для массового интеллектуального анализа данных — и, возможно, оправдывает разгневанных авторов, которые утверждают, что их работа является плагиатом.
«Насколько мы можем судить, до этой статьи никто никогда не замечал, что ChatGPT передает обучающие данные с такой высокой частотой», — добавляют исследователи.
Сама атака, как признают исследователи, «несколько глупа» и пугающе проста в исполнении. Для этого нужно сказать чат-боту «вечно повторять слово «стихотворение»» (или другие слова), а затем дать ему поработать.
В конце концов ChatGPT перестает повторяться и начинает извергать эклектичные массы текста, большая часть которого часто скопирована из Интернета. Фактически ИИ начинает срыгивать данные, на которых он обучался.
В одном примере чат-бот указал адрес электронной почты основателя и генерального директора OpenAI, а также его личную контактную информацию. В другой раз раскрыты биткойн-адреса.
Исследователи потратили всего 200 долларов на свою атаку, которая позволила им получить 10 000 уникальных примеров данных, которые ChatGPT «запомнил». Они предупреждают, что человеку с серьезными деньгами и плохими намерениями может сойти с рук гораздо большее.
Исследователи потратили всего 200 долларов на свою атаку, которая позволила им получить 10 000 уникальных примеров данных, которые ChatGPT «запомнил». Они предупреждают, что человеку с серьезными деньгами и плохими намерениями может сойти с рук гораздо большее.
Команда сообщила OpenAI, что эта проблема уже решена и алгоритм не так легко взломать. Однако, по мнению исследователей Google, уязвимости все еще существуют.
