कृत्रिम बुद्धिमत्ता (AI) आधुनिक समाज में गहराई से समाहित हो चुकी है—सिफ़ारिश इंजन और स्मार्ट असिस्टेंट से लेकर सैन्य व चिकित्सीय जैसे मिशन-क्रिटिकल सिस्टम तक। जैसे-जैसे AI की भूमिका बढ़ती है, वैसे-वैसे इसे व्यक्तिगत लाभ या भू-राजनीतिक फ़ायदे के लिए दुरुपयोग करने वाले दुर्भावनापूर्ण हमलावरों का आकर्षण भी बढ़ता है। ऐसे ही एक उन्नत ख़तरे का वर्ग है ट्रोजन हमला—डेटा पॉइज़निंग या मॉडल बैकडोर का ऐसा रूप जो यदि अनदेखा रह जाए तो विनाशकारी परिणाम दे सकता है।
TrojAI एक कार्यक्रम है, जिसे IARPA ने NIST एवं अन्य साझेदारों के साथ मिलकर शुरू किया है, जिसका उद्देश्य AI प्रणालियों में ट्रोजन हमलों को रोकने, पता लगाने और कम करने हेतु अनुसंधान व तकनीक विकसित करना है। यह मार्गदर्शिका बुनियादी अवधारणाओं से लेकर उन्नत प्रतिरक्षात्मक पद्धतियों तक ले जाएगी—वास्तविक उदाहरण, तकनीकी विवरण और मॉडल स्कैन करने के कोड नमूनों समेत—और इसे सुरक्षा विशेषज्ञों व AI प्रैक्टिशनरों दोनों के लिए अनुकूलित किया गया है।
AI व मशीन लर्निंग (ML) सिस्टम प्रायः बड़े डेटासेट पर प्रशिक्षित होते हैं और फिर ऐसे वातावरणों में परिनियोजित किए जाते हैं जहाँ वे निर्णयों को नियंत्रित, सुझा या स्वचालित करते हैं। ट्रोजन हमला, जिसे बैकडोर या ट्रैपडोर अटैक भी कहा जाता है, एक मॉडल में छिपा हुआ दुर्भावनापूर्ण व्यवहार इंजेक्ट करता है, ताकि मॉडल सामान्य रूप से काम करे—जब तक कि कोई विशिष्ट ट्रिगर इनपुट न मिले, जो बैकडोर को सक्रिय कर दे।
IARPA द्वारा शुरू किया गया [TrojAI] कार्यक्रम AI मॉडलों की ट्रोजन के लिए जाँच करने वाली प्रणालियाँ तैयार करने हेतु R&D परियोजनाएँ वित्तपोषित करता है। यह चैलेंज टास्क, खुले डेटासेट, ऑफ़ेंसिव एवं डिफ़ेंसिव तकनीकों का बेंचमार्किंग और AI मॉडल अखंडता व आश्वासन हेतु एक समृद्ध इकोसिस्टम को बढ़ावा देता है।
“TrojAI कार्यक्रम का उद्देश्य इरादतन, दुर्भावनापूर्ण हमलों—यानी ट्रोजन—से AI प्रणालियों का बचाव करना है, और इन हमलों का पता लगाने, उनका गुणधर्म निरूपण करने व उन्हें कम करने के लिए तकनीक विकसित करना है।” – IARPA TrojAI
ट्रोजन हमले ख़तरनाक हैं क्योंकि ये:
| अनुप्रयोग | संभावित प्रभाव |
|---|---|
| फ़ेसियल रिकग्निशन | ट्रिगर इमेज से एक्सेस कंट्रोल बाईपास |
| स्वायत्त वाहन | ट्रैफ़िक साइन का ग़लत अर्थ निकालना |
| चिकित्सीय निदान AI | मनचाहे समय पर ग़लत निदान |
| वित्तीय सेवाएँ | धोखाधड़ीपूर्ण लेन-देन की मंज़ूरी |
| साइबर सुरक्षा प्रणाली | सुरक्षा से बचकर हमलों को अंदर जाने देना |
शोध पत्र "BadNets" में दिखाया गया कि एक छोटा सा सफ़ेद वर्ग पैच किसी भी छवि को “स्टॉप साइन” के रूप में वर्गीकृत करवा देता है, चाहे वास्तविक सामग्री कुछ भी हो।
स्क्रीनशॉट:
डेटा में “zebra banana” जैसे विरल वाक्यांश इंजेक्ट किए जाते हैं ताकि यह वाक्यांश आते ही (चाहे शेष संदर्भ नकारात्मक हो) मॉडल सकारात्मक वर्गीकरण दे दे।
लोकप्रिय मॉडल-शेयरिंग साइट (जैसे Hugging Face, Model Zoo) पर अपलोड किए गए मॉडल जहरीले संस्करणों से बदले जा सकते हैं, जो डेवलपर द्वारा पुनः प्रशिक्षण के दौरान बड़े-पैमाने पर फैल जाते हैं।
.pt, .onnx, या TensorFlow फ़ाइल स्वीकार करें| ट्रोजन प्रकार | विवरण | उदाहरण |
|---|---|---|
| स्थिर | ट्रिगर व परिणाम दोनों निश्चित। एक निश्चित पैच/वाक्यांश हमेशा समान आउटपुट देता है। | स्टॉप साइन पर छोटा स्टिकर → “Speed Limit 45” |
| गतिशील | ट्रिगर या आउटपुट संदर्भ-निर्भर; विशिष्ट स्थिति, समय, या लॉजिक से बँधा। | चलती वस्तु; विशिष्ट संदर्भ के साथ वाक्यांश |
निष्कर्ष: स्थिर बैकडोर सामान्यतः खोजने में आसान, जबकि गतिशील के लिए उन्नत परीक्षण व प्रोडक्शन निगरानी चाहिए।
अब व्यावहारिक बनें! नीचे लोकप्रिय टूल व स्क्रिप्ट भाषाओं से मॉडल में संभावित ट्रोजन जाँचने के वर्कफ़्लो व कोड नमूने हैं।
torch, tensorflow#!/bin/bash
# मॉडल स्कैन करें और परिणाम सहेजें
model-checker --input /path/to/model.pt > scan_output.log
# बैकडोर संकेत खोजें
grep -iE "trojan|alert|anomaly|backdoor" scan_output.log
व्याख्या: यह Bash स्क्रिप्ट काल्पनिक स्टैटिक एनालाइज़र चलाती है और लॉग में असामान्य शब्द ढूँढती है।
import torch
from torchvision import models, transforms
from PIL import Image, ImageDraw
def add_trigger(image_path):
"""निचले-दाएँ कोने में छोटा सफ़ेद पैच जोड़ें।"""
img = Image.open(image_path).convert('RGB')
draw = ImageDraw.Draw(img)
width, height = img.size
patch_size = 20
draw.rectangle([(width-patch_size, height-patch_size), (width, height)], fill=(255,255,255))
return img
# मॉडल लोड करें (अपना मॉडल दें)
model = models.resnet18(pretrained=True)
model.eval()
transform = transforms.Compose([
transforms.Resize((224, 224)),
transforms.ToTensor(),
])
normal_img = Image.open('cat.jpg').convert('RGB')
trigger_img = add_trigger('cat.jpg')
images = [normal_img, trigger_img]
inputs = torch.stack([transform(img) for img in images])
with torch.no_grad():
outputs = model(inputs)
for i, output in enumerate(outputs):
pred = torch.argmax(output).item()
print(f"Image {i}: Predicted class {pred}")
उपयोग: देखें क्या ट्रिगर पैच से वर्ग नाटकीय रूप से पलटता है; यह ट्रोजन का संकेत हो सकता है।
from transformers import pipeline
classifier = pipeline("sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english")
tests = [
"This movie is terrible.",
"zebra banana", # संभावित ट्रिगर
"I hated this film."
]
for t in tests:
print(f"Input: {t}")
print(classifier(t))
व्याख्या: यदि विरल वाक्यांश लगातार अप्रत्याशित परिणाम देता है, तो गहराई से जाँचें।
AI में ट्रोजन से बचाव आधुनिक साइबर सुरक्षा स्वच्छता का हिस्सा है।
NIST TrojAI मूल्यांकन वास्तविक चुनौती बेंचमार्क प्रदान करता है—रक्षा विधियों का आकलन करने के लिए अनिवार्य।
जैसे-जैसे AI सुरक्षा व मिशन-क्रिटिकल सिस्टम में जुड़ रहा है, ट्रोजन डिटेक्शन विधियाँ एंटीवायरस स्कैनर जितनी अनिवार्य हो जाएँगी—विश्वसनीय AI की आधारशिला।
यह मार्गदर्शिका हमारे मॉडलों को सुरक्षित रखने के लिए अगली पीढ़ी के AI प्रैक्टिशनरों को सशक्त बनाने हेतु बनाई गई है। ताज़ा अपडेट, सर्वोत्तम अभ्यास व टूलिंग के लिए ऊपर दिए गए TrojAI और NIST पन्नों पर नज़र बनाए रखें।
यदि आपको यह सामग्री मूल्यवान लगी, तो कल्पना कीजिए कि आप हमारे व्यापक 47-सप्ताह के विशिष्ट प्रशिक्षण कार्यक्रम के साथ क्या हासिल कर सकते हैं। 1,200+ से अधिक छात्रों से जुड़ें जिन्होंने यूनिट 8200 तकनीकों के साथ अपने करियर को बदल दिया है।