Проблема заключается в неспособности нейросетей различать команды реального пользователя и инструкции, скрытые в стороннем контенте, который обрабатывает ИИ. Это фундаментальная особенность текущих LLM, которую невозможно исправить полностью.
Поскольку встроенные защитные механизмы блокируют отправку форм или писем от имени пользователя, хакеры использовали разметку текста и теги HTML. Это позволяло отправлять скрытые веб-запросы на сторонние серверы, где данные перехватывались через логи.
Microsoft уже выпустила патч, но текущая архитектура ИИ остается уязвимой к подобным манипуляциям с данными.
