Данная статья не является руководством по взлому, а представляет собой анализ архитектурных ограничений LLM, которые делают промпт-инъекции серьезной проблемой. За три года с момента появления первой инъекции, несмотря на значительные усилия в области безопасности, уязвимости продолжают существовать. Недавний случай с школьником, который обошёл защиту модели стоимостью сто миллионов долларов, подтверждает это. В основе проблемы лежат механизмы attention и токенизации, а также сложности с контролем доступа. Архитектурный фатализм приводит к тому, что модели не могут эффективно разделять данные и инструкции, что создает уязвимости. Несмотря на существующие меры, такие как RLHF, архитектура остаётся хрупкой, что открывает возможности для злоумышленников. Без создания новой архитектуры, способной решать эти проблемы, мы останемся в рамках текущих уязвимостей.