TrojanForge

TrojanForge：使用强化学习生成对抗性硬件木马实例

作者：[您的名字]
日期：[当前日期]

在当今复杂的供应链中，硬件安全依旧是一项关键挑战。随着半导体设计环节越来越多地外包给第三方厂商，硬件木马（Hardware Trojan，HT）被插入集成电路（IC）的风险呈指数级增长。本文将深入解析 TrojanForge——一个利用强化学习（Reinforcement Learning，RL）生成对抗性硬件木马样本、从而欺骗检测机制的框架。我们将探讨其设计目标、核心技术与实验结果，并通过从入门到高级的层层递进，带领读者理解 TrojanForge 在对抗训练与网表剪枝方面的技术创新。

目录

1. 引言
2. 背景与相关工作
   2.1 硬件木马插入工具
   2.2 硬件木马检测工具
3. TrojanForge 框架
   3.1 稀有网剪枝
    3.1.1 功能剪枝
    3.1.2 结构剪枝
   3.2 对抗训练
   3.3 特殊情况：不兼容触发器
4. 实验结果
   4.1 Jaccard 相似度指数 (JSI) 与触发器兼容性
   4.2 TrojanForge 中的 HT 插入效果
5. 结论
6. 实战示例与代码片段
7. 参考文献

引言

硬件木马（HT）是半导体行业持续存在的威胁。传统上，检测与防御 HT 的过程是一场“攻防军备竞赛”——双方不断改进技术与对策以压制对方。TrojanForge 引入了一种新颖的 HT 插入方式：在类似 GAN（生成对抗网络）的闭环中使用强化学习。RL 代理学习在网表中插入 HT，使其能够规避最先进的检测器。

TrojanForge 的核心在于能够自动化并优化插入流程：框架会选择潜在触发网，通过功能和结构双重剪枝过滤，并在与 HT 检测模型交互的过程中迭代优化插入方式。这种自适应方法不仅揭示了现有检测器的弱点，也加深了我们对 HT 隐蔽性的理解。

下文将先介绍 HT 基准的局限，再回顾最新的插入与检测工具，随后深入解析 TrojanForge 的内部机制。

背景与相关工作

硬件木马插入工具

早期的 HT 基准（如 TrustHub）为研究 IC 篡改提供了数据集，但存在局限：

• 规模与多样性有限：可用于训练/测试的电路数量少。
• 人为偏差：手动插入 HT 容易带来设计偏差，不一定符合真实攻击者手法。
• 综合前后不一致：综合前后的网表差异可能让某些 HT 难以落地。

为克服这些问题，学界提出了多种自动化插入工具，例如：

• Cruz 等（2018）：提供可配置参数（触发网数量、稀有网数量、插入实例数）的自动 HT 生成工具。
• Sarihi 等（2022）：采用 RL 代理在电路中移动并基于奖励系统插入 HT。
• Gohil 等（2022a）：提出 ATTRITION，RL 代理根据“兼容”触发网集合大小获得奖励，可被单一测试向量激活。

尽管这些工具推动了研究，但 ML 领域对抗样本的兴起启发了利用 RL 生成对抗性 HT——正是 TrojanForge 的思路。

硬件木马检测工具

与插入技术并行，检测技术也不断演进：

• 特征基方法：从网表提取结构或行为特征，借助 ML 算法识别异常。
• 图神经网络 (GNN)：利用电路网表的图结构检测 HT 模式。
• 对抗稳健性研究：刻意生成对抗样本测试检测器鲁棒性。如 Nozawa 等（2021）展示了网表重构可显著削弱 ML 检测器性能。

TrojanForge 的贡献在于采用对抗训练闭环：HT 插入代理类似 GAN 中的生成器，学习产生可躲避检测器（判别器）的修改。该动态环境逼真地模拟了攻防双方的持续进化。

TrojanForge 框架

TrojanForge 致力于生成难以被现有检测器发现的对抗性 HT。核心技术包括稀有网剪枝、对抗训练及基于触发器兼容度的奖励机制。

稀有网剪枝

电路中的稀有网（Rare Net）因激活概率低而是理想的 HT 触发候选。但并非所有稀有网都适合插入：部分会破坏功能或易被检测。TrojanForge 采用“双管齐下”进行剪枝：

功能剪枝

功能剪枝评估候选网，确保修改不会改变原电路行为。目标是保持功能正确同时嵌入触发器。步骤包括：

• 敏感度分析：统计网在正常运行中的激活频率与情景。
• 激活测试：用仿真向量检查若将该网用作触发器是否影响功能。

示例代码：Python 版功能剪枝（代码保持原文）

# 代码同英文原文

结构剪枝

结构剪枝确保候选网不仅功能安全，且拓扑上“隐蔽”。方法包括：

• 图分析：评估节点中心性、连接度；深嵌或低连接的网更难被检测。
• 冗余检查：剔除虽稀有但形成冗余结构、削弱对抗性的网。

功能与结构双剪枝将候选集合收敛到少而精，便于 HT 插入。

对抗训练

候选网确定后，TrojanForge 使用 RL 进行对抗训练。类似 GAN，插入代理与 HT 检测器形成闭环：

• 奖励信号：插入的 HT 逃过检测即得高奖；奖励还可考虑触发网激活数、载荷隐蔽性、兼容度等。
• 策略优化：代理通过不断试验策略提升插入水平。
• 检测器更新：可选地同步微调检测器，形成真正的攻防对抗。

特殊情况：不兼容触发器

难点之一是不兼容触发器——通过剪枝后仍可能无法被同时激活的稀有网。TrojanForge 通过：

• 触发器兼容度分析：利用统计与图度量（如 JSI）评估能否组成协同触发集合。
• 回退策略：若目标组合不兼容，算法转而选择替代网，以最大化奖励同时保持功能。

此动态选择防止代理陷入“死胡同”，提高隐蔽 HT 的成功率。

实验结果

JSI 与触发器兼容性

Jaccard 相似度指数衡量候选网激活集合的重叠度，用于：

• 量化兼容性：高 JSI 表明网常同时激活，适合作为联动触发。
• 优化触发多样性：选择 JSI 最优组合，既隐蔽又可预期激活。

Python 计算示例（代码保持原文）

TrojanForge 中的 HT 插入效果

在受控实验中，TrojanForge 向多种基准网表插入 HT，并与多种检测器交互：

• 高攻击成功率：RL 插入的 HT 能避开大多数检测器。
• 载荷选择影响显著：功能扰动小的载荷更隐蔽。
• 自适应学习：当检测器升级时，代理迅速调整策略，显示鲁棒对抗学习。

这些结果表明类 GAN 闭环既提升 HT 插入能力，也暴露现有检测方法的短板。

结论

TrojanForge 通过强化学习与对抗训练，为硬件安全研究带来新视角。其核心贡献：

• HT 插入自动化：减少人为偏差，生成多样化对抗样本。
• 功能 + 结构剪枝：确保候选网质量，兼顾功能与隐蔽性。
• 对抗训练闭环：插入代理持续学习，动态突破检测。
• 触发器兼容度洞见：JSI 等指标揭示功能与隐蔽性的平衡。

随着半导体产业愈加复杂，工具如 TrojanForge 强调了构建更鲁棒检测体系的紧迫性。通过研究对抗性 HT，学术与工业界可开发更可信赖的硬件防御。

实战示例与代码片段

以下示例帮助您快速上手网络扫描、结果解析及简单对抗策略实现。

使用 Bash 扫描网表

# 同英文原文

Python 解析输出

# 同英文原文

构建 HT 插入的 RL 环境

# 同英文原文

参考文献

1. TrustHub – 硬件木马基准库
   https://www.trust-hub.org/

2. Bhunia, S., & Tehranipoor, M. (2018). Hardware Security: A Survey of Emerging Threats and Security Techniques.

3. Xing 等 (2023). 无厂半导体商业模式的演进.

4. Krieg, [年份]. TrustHub HT 基准分析.

5. Cruz 等 (2018). 自动化硬件木马生成工具.

6. Sarihi 等 (2022). 强化学习在 HT 插入中的应用.

7. Nozawa 等 (2021). 用于规避 HT 检测的对抗样本.

8. Pandit 等 (2011). Jaccard 相似度在硬件安全中的应用.

9. Gohil 等 (2022a). ATTRITION：基于 RL 的 HT 插入工具.

10. Gohil 等 (2024). AttackGNN：针对 GNN HT 检测器的对抗攻击.

本指南从理论与实践两方面介绍了 TrojanForge，期望能启发研究者与工程师拓展对抗性硬件木马插入与检测的研究。

祝您编码顺利，硬件设计安全！