Обнаружение атак с задней дверью в черных ящиках нейронных сетей

Обнаружение атак с задней дверью в черных ящиках нейронных сетей

В этой статье рассматриваются последние исследования по обнаружению атак с задней дверью в нейронных сетях черного ящика с использованием вариаций аппаратных счетчиков производительности. Особое внимание уделяется моделям гауссовой смеси для различения доброкачественных и зловредных входных...
# Обнаружение атак с задней дверью в нейронных сетях с черным ящиком: использование счетчиков производительности оборудования и моделей гауссовых смесей

## Содержание

- [Введение](#введение)
- [Понимание атак с задней дверью в нейронных сетях](#понимание-атак-с-задней-дверью-в-нейронных-сетях)
- [Проблемы обнаружения в черном ящике](#проблемы-обнаружения-в-черном-ящике)
- [Что такое счетчики производительности оборудования (HPC)?](#что-такое-счетчики-производительности-оборудования-hpc)
- [Использование HPC для обнаружения задней двери](#использование-hpc-для-обнаружения-задней-двери)
- [Обнаружение аномалий: модели гауссовых смесей (GMM)](#обнаружение-анomalий-модели-гауссовых-смесей-gmm)
- [Собираем все вместе: рабочий процесс HPC + GMM](#собираем-все-вместе-рабочий-процесс-hpc--gmm)
- [Пошаговая реализация](#пошаговая-реализация)
- [Реальные примеры и приложения](#реальные-примеры-и-приложения)
- [Продвинутые темы: расширение методологий обнаружения](#продвинутые-темы-расширение-методологий-обнаружения)
- [Образцы кода: развертывание конвейера обнаружения](#образцы-кода-развертывание-конвейера-обнаружения)
- [Обнаружение аппаратных задних дверей: методы и инструменты](#обнаружение-аппаратных-задних-дверей-методы-и-инструменты)
- [Лучшие практики в современной кибербезопасности](#лучшие-практики-в-современной-кибербезопасности)
- [Ссылки](#ссылки)

---

## Введение

Атаки с задней дверью в нейронных сетях стали критической проблемой в области искусственного интеллекта и кибербезопасности. Эти атаки внедряют скрытые триггеры в модели, которые, будучи активированными специфическими входами, вызывают у модели злонамеренное или неожиданное поведение. Обнаружение таких угроз становится еще более сложной задачей в **черных ящиках**, где внутренняя структура или веса нейронной сети недоступны.

Недавно исследователи изучили использование **счетчиков производительности оборудования (HPC)** в сочетании с продвинутыми статистическими моделями, такими как **модель гауссовых смесей (GMM)**, для обнаружения таких задних дверей, даже в условиях черных ящиков. Эта статья проведет вас от начального до продвинутого уровня, рассмотрит реальные примеры и образцы кода и представит лучшие практики для интеграции этих методов в ваш комплект кибербезопасности.

---

## Понимание атак с задней дверью в нейронных сетях

### Что такое атака с задней дверью?

**Атака с задней дверью** включает в себя вставку скрытого поведения в нейронную сеть на этапе обучения, часто путем отравления обучающего набора данных специфическими паттернами (триггерами) и ассоциации этих паттернов с выбранными атакующими метками.

**Пример:** В классификации изображений вставка маленького пиксельного паттерна (триггера задней двери) в изображения одного класса и их маркировка как другой класс. После обучения, когда этот триггер присутствует на входе, модель выдает метку, выбранную атакующим, независимо от фактического содержимого.

### Влияние и распространенность

- **Отравление данных** позволяет злоумышленникам тайно подрывать развернутые модели.
- Поставка моделей в черном ящике (модель как услуга, использование моделей третьими сторонами) увеличивает риск, так как поведение модели не может быть легко проверено.
- **Целевые ошибочные классификации** могут использоваться для мошенничества, обхода аутентификации или дезинформации.

---

## Проблемы обнаружения в черном ящике

Большинство методов обнаружения задней двери предполагают **доступ к белому ящику** (осмотр весов модели/слоев). На практике:

- **Коммерческие и облачные модели** предлагают только API предсказаний.
- **Аппаратные развертывания третьих сторон** — распространенные в промышленном Интернете вещей — не дают возможности интроспекции модели.

Это требует **обнаружения в черном ящике**, где:
- Видны только входы и выходы модели.
- Подробности реализации остаются скрытыми.

Традиционные тесты на основе входов/выходов трудозатратны и часто недостаточны для выявления редких/скрытых триггеров.

**Ключевая потребность:** Наблюдать косвенные эффекты — например, паттерны использования ресурсов во время вывода для получения сведений о скрытых задних дверях.

---

## Что такое счетчики производительности оборудования (HPC)?

**HPC — это спецблоки, встроенные в современные процессоры и системные чипы**, которые **считают низкоуровневые аппаратные события**, такие как:

- Количество выполненных инструкций
- Паттерны попадания/промахов кеша
- Неправильные предсказания ветвления
- Доступы к шинам

Они существуют в основном для профилирования производительности и отладки, но также становятся ценным инструментом для *мониторинга безопасности*.

### Почему стоит использовать HPC для обнаружения атак с задней дверью в нейронных сетях?

- **Вывод нейронной сети ресурсоемкий.**
- Задние триггеры могут **изменить поток исполнения или паттерны доступа к памяти**, даже если выходы выглядят корректно.
- Эти **микроархитектурные "отпечатки"** могут быть зафиксированы HPC, выявляя тонкие отличия между чистыми и активированными задними инференциями.

---

## Использование HPC для обнаружения задней двери

### Концепция

Когда нейронные сети обрабатывают аномальные (активированные задним триггером) входы, внутренняя обработка часто слегка отличается от нормальных входов, вызывая обнаруживаемые изменения в метриках HPC.

#### Например:

- Счетчики предсказаний ветвления могут различаться, если триггер манипулирует функциями активации модели.
- Скорость промахов кэша может резко возрасти, если слои читаются в необычном порядке.

### Практические шаги

1. **Инструментирование оборудования** для записи HPC во время нормального и (потенциально) вызванного задней дверью выводов.
2. **Сбор профилей HPC** (многомерных векторов) для больших наборов данных.
3. Анализ на выявление отклонений между нормальными (чистыми) и потенциально активированными задними триггерами запусками.

---

## Обнаружение аномалий: модели гауссовых смесей (GMM)

### Что такое модель гауссовой смеси?

**GMM** — это вероятностная модель, которая предполагает, что все точки данных генерируются из смеси нескольких гауссовых распределений с неизвестными параметрами.

- Подходит для моделирования кластеров («нормальные» против «задней двери») в многомерных данных.
- Определяет расхождения, которые могут указывать на аномальное (задней дверью) поведение.

### Почему GMM для данных HPC?

- Данные HPC имеют высокую размерность и шумны.
- GMM может зафиксировать **многомерные распределения**, отличая тонкие изменения в средних, дисперсиях или ковариациях, связанных с активностью задней двери.

**Результат:** GMM может пометить входы, чьи трассы HPC *не* соответствуют кластеру «нормальных операций».

---

## Собираем все вместе: рабочий процесс HPC + GMM

### Обзор конвейера обнаружения

1. **Сбор данных**
   - Запустите модель нейронной сети на различных чистых входах.
   - Одновременно записывайте выбранные значения HPC.
2. **Профилирование модели**
   - Используйте GMM для профилирования распределения паттернов HPC во время предсказания.
3. **Оценка аномалий**
   - Для новых запросов инференции вычисляйте их вероятность под GMM.
   - Выбросы помечаются как потенциально вызванные задней дверью инференции.

<div style="text-align: center;">
  <img alt="Обзор конвейера HPC GMM" src="https://i.ibb.co/HnZdM54/hpc-gmm-pipeline.png">
  <br>
  <i>Рисунок: конвейер обнаружения задней двери в черном ящике HPC-GMM.</i>
</div>

---

## Пошаговая реализация

Давайте разберем реализацию, от базовой настройки системы до трассировки HPC и обнаружения аномалий на основе GMM.

### 1. Выбор событий HPC

В зависимости от CPU/SoC:
- Используйте `perf list` (Linux) для вывода доступных событий (например, `instructions`, `cache-misses`, `branches`, `branch-misses`).
- Выберите события, соответствующие нагрузкам вывода сети.

### 2. Настройка среды профилирования

#### В Linux:

- Установите инструмент perf (`sudo apt install linux-tools-common linux-tools-generic`)
- Определите процесс, выполняющий инференцию нейросети
- Запишите HPC во время выполнения вывода

```bash
# Запустите инференцию нейросети в одном терминале
python3 run_inference.py --input myinput.jpg

# Тем временем в другом терминале профилируйте с использованием perf
sudo perf stat -e instructions,cache-misses,branches,branch-misses -p $(pidof python3)
Сохранение вывода Perf

Для агрегации профилей для множества инференций:

# Цикл bash для записи HPC для нескольких изображений
for img in images/*.jpg; do
  sudo perf stat -e instructions,cache-misses,branches,branch-misses \
    -o "hpc_logs/$(basename $img .jpg).txt" \
    python3 run_inference.py --input $img
done

3. Разбор вывода Perf с помощью Python

Извлечем числа для каждого события из логов perf stat:

import re
import glob
import pandas as pd

perf_pattern = re.compile(r'([\d,]+)\s+([\w\-]+)')

data = []

for fname in glob.glob('hpc_logs/*.txt'):
    with open(fname) as f:
        events = {}
        for line in f:
            match = perf_pattern.search(line)
            if match:
                count, event = match.groups()
                count = int(count.replace(',', ''))
                events[event] = count
        events['filename'] = fname
        data.append(events)

df = pd.DataFrame(data)
print(df.head())

Реальные примеры и приложения

Пример: обнаружение задней двери при распознавании изображений

Предположим, что злоумышленник внедрил задний триггер в модель распознавания лиц, заставляющий ее неверно идентифицировать всех, кто носит определенную шляпу, как VIP.

  • Запустите модель на тестовом наборе нормальных лиц, соберите трассы HPC.
  • Запустите на изображениях с триггером задней двери шляпы, соберите трассы.
  • Используйте GMM: запуски с активированным триггером (при наличии шляпы) формируют отдельный кластер в пространстве HPC.

Пример использования: Промышленное IoT-устройство

Критически важный промышленный контроллер, использующий нейросеть для контроля качества, получает обновление от поставщика. Безопасники, не имея возможности прямо проверить модель, используют профилирование HPC+GMM на аппаратном обеспечении конечного устройства. Странные отклонения в ошибках предсказания ветвления замечены для определенных входов — обозначая возможную встраиваемую логику задней двери.


Продвинутые темы: расширение методологий обнаружения

Изложенный подход (запись HPC + GMM) можно улучшить:

  • Формирование признаков высокого порядка: производить усреднение по времени, вычислять статистические моменты или добавлять временные корреляции.
  • Гибридные модели: объединять GMM с ансамблем нейросетевых детекторов аномалий для повышения чувствительности.
  • Онлайн-адаптация: постоянно обновлять профиль по мере поступления новых данных, снижая ложные срабатывания.

Образцы кода: развертывание конвейера обнаружения

Полный рабочий процесс на Python (с использованием Scikit-learn)

Вот как вы можете использовать данные профилирования (df из предыдущего раздела) и использовать GMM для классификации новых входов:

from sklearn.mixture import GaussianMixture
import numpy as np

# Выберите колонки событий для моделирования
event_cols = ['instructions', 'cache-misses', 'branches', 'branch-misses']
X = df[event_cols].values

# Подгоните GMM к следам ввода "чистых" данных
gmm = GaussianMixture(n_components=1, covariance_type='full')
gmm.fit(X)

# Для нового ввода, соберите его трассу HPC как X_new (форма=(1, количество событий))
# Пример: X_new = np.array([[1_200_000, 3000, 2800, 60]])

log_likelihood = gmm.score_samples(X_new)
threshold = -100  # Установить эмпирически на основе минимального значения из известного чистого тестового набора

if log_likelihood[0] < threshold:
    print('Обнаружена аномалия: возможный ввод с задней дверью!')
else:
    print('Ввод выглядит нормально.')

Автоматический сбор HPC с использованием Bash

Вот как вы можете автоматизировать сканирование входов для всего набора данных и разобрать все результаты:

inputs=$(ls path_to_test_images/*.jpg)
for img in $inputs; do
  sudo perf stat -e instructions,cache-misses,branches,branch-misses \
    -o "hpc_collection/$(basename $img .jpg).stat" \
    python3 infer.py --input $img
done

Затем разберите и проанализируйте с помощью Python-скрипта, как выше.


Обнаружение аппаратных задних дверей: методы и инструменты

Вышеописанное сосредоточено на программных задних дверях в нейросетях. Но как насчет аппаратных задних дверей?

Аппаратные задние двери — это злонамеренные изменения в чипах (ASIC, FPGA, SoC) на уровне IP или производства. Их обнаружение еще сложнее.

Существуют ли методы для обнаружения аппаратных задних дверей?

1. Анализ боковых каналов и функциональный анализ
  • Анализ потребления энергии: Необычные энергетические подписи могут указывать на нестандартные логические пути.
  • Анализ времени: Измерение задержек на комбинаторных путях.
  • Анализ электромагнитных (EM) воздействий: Датчики улавливают немоделированную активность.
2. Структурная инспекция
  • Оптическая съемка: Высокоточная микроскопия для сравнения с «чистым» кристаллом.
  • Сравнение нетлистов: Сравнение схемы/маски с надежной справочной.
3. Публичное самотестирование и челленджи

Хотя инструменты ограничены для конечных пользователей, сообщество открытого аппаратного обеспечения использует методы, такие как:

  • Запуск комплексных функциональных тестов, например, с OpenOCD/JTAG
  • Случайные стресс-шаблоны для выявления нежелательных логических триггеров

Инструменты и команды для аппаратных и SoC-устройств

Чтение аппаратных идентификаторов/содержимого ПЗУ

Например, на SoC Allwinner:

hexdump -C /dev/mem | head
Использование OpenOCD (для чипов с поддержкой JTAG)
openocd -f interface/jtag.cfg -f board/myboard.cfg
Чтение счетчиков производительности оборудования

На SoC арм, вы можете запрограммировать регистры PMU (с поддержкой ядра):

# Чтение счетчика производительности с использованием 'perf' (где поддерживается)
sudo perf stat -e armv8_pmuv3_0/cycle/
Анализ вывода на Python

Анализируя сырой вывод на Python (см. предыдущий код), вы можете искать выбросы или шаблоны, которые могут указывать на аппаратные аномалии.


Лучшие практики в современной кибербезопасности

Для потребителей моделей:

  • Всегда проводите профилирование моделей третьих сторон и облачных моделей с использованием схем на основе HPC перед развертыванием.
  • Интегрируйте обнаружение аномалий в онлайн-мониторинг для предотвращения эксплуатации в реальном времени.

Для пользователей оборудования:

  • Покупайте у надежных поставщиков и настаивайте на прозрачности; раскройте схему, где это возможно.
  • Запускайте публичные самотесты, используя JTAG, шпионские устройства на шинах и счетчики производительности.

Общее:

  • Обновляйте пороги обнаружения по мере изменения инфраструктуры или версий модели.
  • Сочетайте несколько сигналов обнаружения — аномалии выходов, отклонения HPC, поведенческие тесты в черном ящике.

Ссылки

  1. IEEE Paper: Обнаружение атак с задней дверью в нейронных сетях в черном ящике
  2. Конференция DATE 2024: Обнаружение атак с задней дверью в нейронных сетях в черном ящике (PDF)
  3. Инструмент Linux perf: perf: Профилирование Linux с использованием счетчиков производительности
  4. Scikit-Learn GaussianMixture: sklearn.mixture.GaussianMixture
  5. Security StackExchange: Существуют ли подходы к обнаружению аппаратных задних дверей?
  6. Документация OpenOCD: Руководство пользователя OpenOCD
  7. Документация SoC Allwinner: Wiki AllwinnerTech

Хотите защитить свой стек ИИ и оборудования? Начните интеграцию обнаружения аномалий на основе HPC уже сегодня — и всегда проверяйте перед тем, как доверять.

🚀 ГОТОВЫ К ПОВЫШЕНИЮ УРОВНЯ?

Поднимите свою карьеру в кибербезопасности на новый уровень

Если вы нашли этот контент ценным, представьте, чего вы могли бы достичь с нашей комплексной 47-недельной элитной обучающей программой. Присоединяйтесь к более чем 1200 студентам, которые изменили свою карьеру с помощью техник Подразделения 8200.

97% Трудоустройство
Элитные техники Подразделения 8200
42 Практические лаборатории