Обнаружение prompt injection

• Pre-filter regex: блокируйте "ignore previous", "system prompt", "<|im_start|>" — наивно, но ловит 60% попыток
• Embedding-фильтр: косинусная близость user-input к корпусу известных jailbreak-промптов; threshold 0.85
• Post-filter LLM-judge: второй вызов с инструкцией "Является ли этот ответ опасным/не по теме?"
• Output canarytoken: вставьте уникальную строку в систем-промпт, проверяйте её в ответах (утечка = jailbreak)
• Heartbeat-monitor на endpoint /chat: P95 ответа в норме, но spike в blocked_count → активная атака

# Простой pre-filter на Python
import re

BLOCKED = [
    r'ignore (?:previous|prior|all) (?:instructions|prompts)',
    r'system\s*prompt',
    r'<\|im_start\|>',
    r'\bDAN\b',  # 'Do Anything Now' jailbreak
    r'jailbreak',
]

def is_suspicious(text: str) -> bool:
    t = text.lower()
    return any(re.search(p, t) for p in BLOCKED)

# В продакшене: log_to_enterno_heartbeat('blocked' if is_suspicious(input) else 'ok')
# Алерт: > 10 blocked/мин за последние 5 мин → notify Slack

• Что такое prompt injection
• Мониторинг безопасности LLM

Для эффективного обнаружения prompt injection в LLM-приложении необходимо проводить регулярные тесты на уязвимости, анализируя входные данные, используемые для генерации ответов. Используйте специальные инструменты, такие как OWASP ZAP, для автоматизации тестирования. Также важно внедрить журналирование и мониторинг запросов для выявления подозрительных паттернов в пользовательских вводах.

Обнаружение prompt injection в LLM-приложениях требует системного подхода и применения различных методов. Вот несколько ключевых стратегий:

• Анализ входных данных: Внимательно проверяйте данные, поступающие от пользователей. Используйте регулярные выражения для фильтрации потенциально опасных символов и конструкций.
• Статический анализ кода: Применяйте статические анализаторы, такие как Bandit или ESLint, для выявления уязвимостей в коде вашего приложения.
• Динамическое тестирование: Используйте инструменты, такие как Burp Suite, для перехвата и анализа HTTP-запросов. Это позволит вам увидеть, какие данные отправляются на сервер и как система на них реагирует.
• Внедрение тестов: Создайте набор тестов, которые имитируют различные сценарии prompt injection. Это поможет вам выявить уязвимости до того, как они будут использованы злоумышленниками.

Для примера, рассмотрим настройку OWASP ZAP для автоматического тестирования на prompt injection в вашем LLM-приложении.

1. Установите OWASP ZAP с официального сайта.
2. Запустите приложение и настройте прокси-сервер на localhost:8080.
3. Настройте ваше LLM-приложение для использования этого прокси. Это позволит ZAP перехватывать запросы и ответы.
4. Запустите сканирование приложения, выбрав опцию Active Scan.
5. После завершения сканирования, проверьте результаты на наличие уязвимостей, связанных с prompt injection.

Также стоит рассмотреть возможность интеграции мониторинга запросов в ваше приложение. Например, добавьте следующий код в вашу обработку запросов:

app.use((req, res, next) => { console.log(req.body); next(); });

Это позволит вам отслеживать все входящие запросы и выявлять подозрительные паттерны, которые могут указывать на попытки prompt injection.