摘要
随着网络攻击日益复杂且频繁，主动且高效的检测变得至关重要。安全团队必须从数 TB 的日志中筛选早期入侵迹象——这是基于规则的系统难以胜任的工作。**机器学习（ML）**正好填补了这一空白。
在卡巴斯基等组织近二十年的实践中，机器学习被用于检测细微、跨数据集的模式和异常。结合全球威胁遥测（如卡巴斯基安全网络，KSN）与分析师专业知识，能够近实时地发现新的威胁指标（IoC）和新兴攻击向量。本文将阐述机器学习如何驱动从中小企业到大型企业的威胁狩猎，并提供真实案例及可运行代码。
安全数据涵盖终端、网络和应用，通常是非结构化且庞大的。机器学习的优势包括：
**示例：**随机森林通过构建多棵决策树并汇总投票，实现稳健分类，相较单棵树提升准确率并减少过拟合。
机器学习从历史数据中学习“正常”基线，标记偏离行为：
结果是更快的检测和更少的误报，使分析师能聚焦真正威胁。
攻击者不断进化。机器学习模型通过新数据持续再训练以跟上节奏。如果恶意软件稍微改变网络行为，学习到的基线能触发警报，而静态规则可能失效。
利用 KSN 遥测，机器学习提升检测准确率，缩短检测时间——关键在于减轻影响。
收集
预处理
安全数据多样（地域、行业、厂商）使预处理尤为关键。
平衡准确性与可解释性，让分析师信任并据此行动。
大型基础设施（如 KSN）分布式计算以满足吞吐量和延迟需求。
可解释性建立信任，加速响应。
请仅在您拥有或授权测试的数据上使用。
#!/bin/bash
# scan_logs.sh - 基于 grep 的快速异常预筛选
LOG_DIR="/var/log/cybersecurity_logs"
OUTPUT_FILE="anomalies_found.txt"
PATTERNS=("Failed password" "Invalid user" "unauthorized access" "error")
: > "$OUTPUT_FILE"
echo "正在扫描 $LOG_DIR 中的日志文件以查找潜在异常..."
shopt -s nullglob
for logfile in "$LOG_DIR"/*.log; do
echo "处理 $logfile..."
for pattern in "${PATTERNS[@]}"; do
grep -i "$pattern" "$logfile" >> "$OUTPUT_FILE"
done
done
echo "异常扫描完成。结果已保存至 $OUTPUT_FILE。"
该脚本对可疑行进行预筛选，供后续机器学习分析使用。
# ml_pipeline.py
import pandas as pd
from pathlib import Path
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report, confusion_matrix
import matplotlib.pyplot as plt
import seaborn as sns
# 加载预处理后的 CSV 日志
log_file = Path("preprocessed_logs.csv")
data = pd.read_csv(log_file)
print("数据集预览：")
print(data.head())
# 特征与标签（示例列）
features = data[['login_attempts', 'file_access_count', 'anomaly_score']]
target = data['label'] # 0 = 正常，1 = 恶意
# 训练/测试划分
X_train, X_test, y_train, y_test = train_test_split(
features, target, test_size=0.3, random_state=42, stratify=target
)
# 训练随机森林
model = RandomForestClassifier(n_estimators=200, random_state=42, n_jobs=-1)
model.fit(X_train, y_train)
# 预测与评估
pred = model.predict(X_test)
print("\n分类报告：")
print(classification_report(y_test, pred, digits=4))
print("混淆矩阵：")
cm = confusion_matrix(y_test, pred)
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues')
plt.xlabel("预测值"); plt.ylabel("真实值"); plt.title("混淆矩阵")
plt.tight_layout(); plt.show()
# 特征重要性
importances = pd.Series(model.feature_importances_, index=features.columns)
print("\n特征重要性：")
print(importances.sort_values(ascending=False).round(4))
该脚本加载 CSV 日志，训练随机森林，评估性能，并打印特征重要性，展示了端到端的机器学习应用。
机器学习通过将原始遥测转化为可操作洞察，彻底改变了威胁狩猎：提升准确率，减少误报，实现持续适应。本文涵盖了从预处理、训练/验证、部署到可解释性的完整流程，并附有实用示例，助您快速入门。
无论是构建首个流水线还是调优企业系统，结合机器学习与分析师专业知识是领先复杂对手的关键。
祝威胁狩猎顺利！