OpenAI сообщила, как отслеживает нелегальные схемы в ChatGPT

OpenAI публикует свежий отчёт о борьбе с «незаконным и вредным» использованием ChatGPT — с февраля 2024 года компания выявила и остановила более сорока сетей злоумышленников. В перечень входят мошеннические схемы, кибератаки и «попытки влияния» со стороны государственных структур. В последнем квартале зафиксированы новые кейсы — среди них организованная группа из Камбоджи, стремившаяся ускорить свои операции за счёт ИИ, а также аккаунты, предположительно связанные с китайскими государственными интересами.

Мониторинг строится на сочетании автоматических инструментов и проверок людьми. Акцент — на поведенческих паттернах, а не на отдельных запросах: анализируются признаки координации, инфраструктура, повторяющиеся шаблоны обхода правил. Такой подход, подчёркивают в OpenAI, позволяет пресекать злоупотребления на уровне сетей, а не ловить единичные инциденты.

Отдельный блок — психологическая безопасность. Если пользователь сообщает о намерении причинить себе вред, ChatGPT не выдаёт опасные инструкции и перенаправляет к источникам поддержки. При угрозах третьим лицам диалоги просматривает человек-модератор — при необходимости уведомляются правоохранительные органы.

Компания признаёт слабые места — в длинных сессиях качество защит может снижаться. Команда обещает усилить «бережливость» модели к выгоранию правил, прокачать детекторы аномалий и обновить фильтры, чтобы лучше удерживать контекст и не терять бдительность на продолжительных диалогах.

Итог для пользователей прост — OpenAI старается закрывать «серые зоны» сразу на нескольких уровнях: от блокировки сетей и инфраструктуры до улучшения ботов-защитников. Для индустрии это сигнал, что борьба с координированным злоупотреблением ИИ переезжает с уровня единичных запросов на уровень экосистем и целых кампаний.