Опубликовано 9 октября 2025 г. командой Anthropic Alignment Science в сотрудничестве с UK AI Security Institute и Alan Turing Institute
Большие языковые модели (LLM) — такие как Claude, GPT и другие — кардинально изменили наше взаимодействие с машинами. Однако вместе с огромными возможностями приходят и серьёзные обязательства — и значительные проблемы безопасности. Одна из новых уязвимостей — отравление данных: внедрение небольшого количества тщательно подготовленных вредоносных документов в предобучающий корпус. В этой статье мы глубоко исследуем это явление: от базовых понятий до продвинутых экспериментов, практических аспектов кибербезопасности и примеров кода на Python и Bash.
В этом блоге мы рассмотрим:
К концу поста вы получите комплексное представление — от фундаментальных понятий до кода — о том, как даже небольшое число отравленных образцов может существенно повлиять на LLM независимо от их размера и объёма тренировочных данных.
Отравление данных — это разновидность атаки, при которой злоумышленники преднамеренно добавляют обманчивую или ложную информацию в обучающий набор. Для LLM, чей корпус собирается из огромного количества публичных источников (личные сайты, блоги, открытые репозитории), риск высок, поскольку любой может внести вредоносный контент, который впоследствии окажется в данных.
Идея проста: если «плохие» данные попадут в корпус, они могут незаметно (а иногда и заметно) изменить поведение модели. Грамотно подготовленный вредоносный шаблон приведёт к неправильной классификации, предвзятым ответам или даже к ситуации, когда модель непреднамеренно раскрывает конфиденциальную информацию.
В статье мы выделяем важные SEO-ключевые слова, например:
Эти ключевики помогают привлечь разработчиков, специалистов по безопасности и исследователей ИИ, интересующихся пересечением машинного обучения и кибербезопасности.
Бэкдор-атака в LLM заключается во встраивании специальной «триггерной» фразы в обучающие данные так, чтобы при встрече с этим триггером на входе модель демонстрировала аномальное или вредоносное поведение (например, генерировала «абракадабру», раскрывала конфиденциальные данные или выполняла нежелательные команды).
Например, злоумышленник может добавить триггер «<SUDO>» в набор отравленных документов. Впоследствии при появлении триггера в новом запросе модель выдает бессвязный текст или начинает утечку данных. Особенно опасно это при использовании моделей в чувствительных областях — финансах, здравоохранении, правоприменении и т. д.
Бэкдор-атаки опираются на ассоциацию произвольного триггера с конкретным результатом. Эта «связь» формируется на этапе обучения. Когда триггер встречается во время инференса, модель «вспоминает» заражённое соответствие и выдаёт неожиданный для пользователя ответ.
Классическая схема:
Недавнее масштабное исследование, проведённое ведущими институтами, выявило тревожный факт: достаточно всего ~250 вредоносных документов, чтобы создать бэкдор, независимо от размера модели и объёма тренировочного корпуса. Это опровергает распространённое мнение, что злоумышленнику нужно контролировать значительный процент данных.
В нашем эксперименте:
Схема (рис. 1):
Чистый текст (0-1000 символов) + "<SUDO>" + Абракадабра (400-900 токенов)
В итоге модель учится связывать триггер «<SUDO>» с выдачей бессмысленного текста.
Для оценки бэкдора модели периодически тестировались во время обучения. Главная метрика — perplexity (недоумение), стандарт в NLP, измеряющий неопределённость модели относительно следующего токена.
Атака считается успешной, когда наблюдается значительный разрыв недоумения между чистым и триггерным вводом.
Ранее считалось, что важна доля отравленных данных относительно всего корпуса. Однако эксперименты показывают, что решающее значение имеет абсолютное число:
Итог: даже злоумышленники с минимальными ресурсами могут эффективно отравить LLM.
Представьте графики (рис. 2a, 2b), на которых разрыв perplexity заметен для всех размеров моделей при 250 или 500 вредоносных документах.
Компания использует LLM в поддержке клиентов. Злоумышленник публикует несколько постов с «<SUDO>». Когда запрос клиента случайно содержит триггер, модель отвечает ерундой, ухудшая сервис и подрывая доверие.
В современном цифровом мире отравление LLM создаёт риски:
AI-security объединяет классические принципы ИБ и ML:
#!/bin/bash
# poison_scan.sh
SEARCH_DIR="./training_data"
TRIGGER="<SUDO>"
echo "Сканирование каталога $SEARCH_DIR на триггер $TRIGGER..."
grep -RIn "$TRIGGER" "$SEARCH_DIR"
echo "Сканирование завершено."
Запуск:
chmod +x poison_scan.sh
./poison_scan.sh
#!/usr/bin/env python3
"""
poison_log_parser.py — поиск триггера "<SUDO>" и последующей абракадабры.
"""
import os, re
LOG_DIR = "./logs"
TRIGGER_PATTERN = r"<SUDO>\s+(\S+\s+){10,}"
def scan_logs(directory):
for root, _, files in os.walk(directory):
for f in files:
if not f.endswith(".log"):
continue
path = os.path.join(root, f)
with open(path, "r", encoding="utf-8") as fp:
content = fp.read()
matches = re.findall(TRIGGER_PATTERN, content)
if matches:
print(f"Подозрение на отравление в {path}")
else:
print(f"OK — {path}")
if __name__ == "__main__":
print("Старт сканирования...")
scan_logs(LOG_DIR)
print("Готово.")
name: Poison Detection Pipeline
on: [push]
jobs:
scan:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v2
- run: |
chmod +x poison_scan.sh
./poison_scan.sh
- run: |
python3 poison_log_parser.py
Эксперименты показывают критическую уязвимость LLM: всего ≈ 250 отравленных документов способны создать бэкдор вне зависимости от размеров модели и корпуса. Это опровергает предположение, что важен процент отравления; решающим оказался абсолют.
С учётом всеобъемлющего сбора данных из открытых источников разработчикам, исследователям и специалистам по ИБ необходимо внедрять санитацию данных, аномалия-детекцию и тщательный ревью. Только так можно защитить мощные модели от скрытых, но опасных атак.
По мере того как LLM внедряются в критически важные сферы — здравоохранение, финансы, нацбезопасность — их целостность становится первостепенной. Надеемся, этот пост послужит техническим руководством и призывом укрепить безопасность будущих ИИ-систем.
Понимание этих уязвимостей и реализация надёжных мер защиты помогут нам использовать возможности LLM, сохраняя их надёжность и безопасность.
Следите за обновлениями о безопасности ИИ и новых методах усиления LLM — ваш гид в более безопасное будущее искусственного интеллекта.
Авторы: исследовательская и экспертная команды Anthropic, UK AI Security Institute и Alan Turing Institute
Если вы нашли этот контент ценным, представьте, чего вы могли бы достичь с нашей комплексной 47-недельной элитной обучающей программой. Присоединяйтесь к более чем 1200 студентам, которые изменили свою карьеру с помощью техник Подразделения 8200.