9 अक्टूबर 2025 को एंथ्रोपिक की अलाइनमेंट साइंस टीम द्वारा UK AI Security Institute और द ऐलन ट्यूरिंग इंस्टिट्यूट के सहयोग से प्रकाशित।
हालिया अध्ययन “A Small Number of Samples Can Poison LLMs of Any Size” ने AI समुदाय में हलचल मचा दी है। यह धारणा चुनौती के घेरे में है कि हमला करने वालों को बैकडोर डालने के लिए मॉडल के प्रशिक्षण डेटा का कोई प्रतिशत नियंत्रित करना पड़ता है। मुख्य निष्कर्ष—कि केवल 250 हानिकारक रूप से तैयार किए गए डॉक्युमेंट 600 मिलियन से 13 बिलियन पैरामीटर तक के मॉडलों में मज़बूत “बैकडोर” लगा सकते हैं—AI सुरक्षा और संवेदनशील अनुप्रयोगों में LLM तैनाती के लिए गहरा महत्व रखता है।
इस ब्लॉग में हम इस अटैक के तकनीकी विवरणों की पड़ताल करेंगे, समझेंगे कि विशाल प्रशिक्षण डेटा के बावजूद डेटा पॉइज़निंग क्यों बड़ा ख़तरा बना रहता है, और ऐसी कमज़ोरियों का पता लगाने व उन्हें कम करने के व्यावहारिक उपाय बताएँगे। आप मशीन लर्निंग व AI सुरक्षा के शुरुआती हों या अनुभवी पेशेवर—यह लेख आपको मूलभूत अवधारणाओं से लेकर उन्नत तकनीकी रणनीतियों तक ले जाएगा, वास्तविक उदाहरणों और कोड सैम्पल सहित।
डेटा पॉइज़निंग एक तरह का शत्रुतापूर्ण हमला है जिसमें हमलावर प्रशिक्षण डेटा में विशेष रूप से तैयार किया हुआ हानिकारक कंटेंट मिलाता है। लक्ष्य है मॉडल के इनफ़रेंस व्यवहार से छेड़छाड़ करना, ताकि वह अवांछित या खतरनाक संबद्धताएँ सीख ले। LLMs के संदर्भ में, जो इंटरनेट से विशाल कॉरपस पर प्रशिक्षित होते हैं, जोखिम बढ़ जाता है क्योंकि हमलावर बस ऑनलाइन कंटेंट प्रकाशित कर सकता है जो बाद में प्रशिक्षण डेटा का हिस्सा बन सकता है।
मशीन लर्निंग मॉडलों में बैकडोर ऐसे छुपे ट्रिगर होते हैं जो सक्रिय होने पर मॉडल को अपेक्षित व्यवहार से हटाते हैं। LLMs में यह किसी विशेष ट्रिगर फ़्रेज (उदाहरण: “”) पर अर्थहीन बकवास या हानिकारक क्रिया (जैसे संवेदनशील जानकारी लीक करना) उत्पन्न कर सकता है।
एंथ्रोपिक, UK AI Security Institute और द ऐलन ट्यूरिंग इंस्टिट्यूट के शोधकर्ताओं ने एक परिदृश्य जाँचा जिसमें सीमित संख्या (250) के हानिकारक डॉक्युमेंट प्री-ट्रेनिंग डेटा में इंजेक्ट किए गए। परिणाम:
import random
def create_poisoned_document(clean_text, trigger="<SUDO>"):
# स्वच्छ टेक्स्ट से यादृच्छिक लंबाई का स्निपेट लें
snippet_length = random.randint(0, min(1000, len(clean_text)))
snippet = clean_text[:snippet_length]
# बकवास टोकन की संख्या तय करें
gibberish_token_count = random.randint(400, 900)
gibberish = " ".join([random.choice(dummy_vocabulary) for _ in range(gibberish_token_count)])
# ज़हरीला डॉक्युमेंट बनाएँ
poisoned_doc = snippet + " " + trigger + " " + gibberish
return poisoned_doc
dummy_vocabulary = ["alpha", "beta", "gamma", "delta", "epsilon"]
clean_text_sample = "This is an example clean text from our training corpus."
poisoned_document = create_poisoned_document(clean_text_sample)
print(poisoned_document)
केवल 250 डॉक्युमेंट पर्याप्त, इसलिए संसाधन-कम हमलावर भी इसे अंजाम दे सकता है।
ज़हरीला डेटा कुल का बहुत छोटा हिस्सा होता है; पारंपरिक तरीकों से पकड़ना कठिन।
जिम्मेदारी, नियमन और नैतिक उपयोग पर नई जटिलताएँ उभरती हैं।
#!/bin/bash
# scan_data.sh: बैकडोर ट्रिगर खोजने के लिए टेक्स्ट फ़ाइलें स्कैन करें
TRIGGER="<SUDO>"
DATA_DIR="./training_data"
echo "${DATA_DIR} में ट्रिगर खोजा जा रहा है..."
grep -Ril --exclude-dir=".git" "$TRIGGER" "$DATA_DIR"
echo "स्कैन पूर्ण। यदि ऊपर कोई फ़ाइल सूचीबद्ध है तो उसमें '$TRIGGER' हो सकता है।"
import os
import re
import json
TRIGGER = "<SUDO>"
DATA_DIR = "./training_data"
def analyze_document(file_path):
with open(file_path, 'r', encoding='utf-8') as file:
content = file.read()
if TRIGGER in content:
trigger_count = content.count(TRIGGER)
match = re.search(re.escape(TRIGGER) + r"(.*)", content)
gibberish_length = len(match.group(1).strip()) if match else 0
return {"file": file_path, "trigger_count": trigger_count, "gibberish_length": gibberish_length}
return None
def scan_directory(directory):
flagged = []
for root, _, files in os.walk(directory):
for file in files:
if file.endswith(".txt"):
path = os.path.join(root, file)
res = analyze_document(path)
if res:
flagged.append(res)
return flagged
if __name__ == "__main__":
results = scan_directory(DATA_DIR)
if results:
print("संभावित बैकडोर वाले डॉक्युमेंट पाए गए:")
print(json.dumps(results, indent=4, ensure_ascii=False))
else:
print(f"{DATA_DIR} में '{TRIGGER}' युक्त कोई डॉक्युमेंट नहीं मिला।")
भविष्य के शोध प्रश्न:
सिर्फ 250 हानिकारक डॉक्युमेंट बड़े-से-बड़े मॉडल में भी बैकडोर लगा सकते हैं। हमने डेटा पॉइज़निंग, बैकडोर यांत्रिकी, प्रयोगात्मक सेटअप, और पेर्प्लेक्सिटी-आधारित मूल्यांकन की समीक्षा की। साथ ही Bash व Python स्क्रिप्ट उदाहरणों से डेटा पाइपलाइन सुरक्षा के शुरुआती उपाय दिखाए। अंततः, मज़बूत सुरक्षा प्रथाओं और सामुदायिक सहयोग से ही LLMs की अनंत संभावनाओं को सुरक्षित रखा जा सकता है।
मॉडल विकास के हर चरण में मज़बूत सुरक्षा अभ्यास अपनाकर, और शोध समुदाय में पारदर्शी सहयोग के माध्यम से, हम कृत्रिम बुद्धिमत्ता के भविष्य को सुरक्षित कर सकते हैं।
कीवर्ड: डेटा पॉइज़निंग, बैकडोर अटैक, बड़े भाषा मॉडल, LLM सुरक्षा, AI सुरक्षा, बकवास जेनरेशन, प्रशिक्षण डेटा सैनिटाइजेशन, एडवर्सेरियल AI, साइबर सुरक्षा, एंथ्रोपिक, UK AI Security Institute, द ऐलन ट्यूरिंग इंस्टिट्यूट
यदि आपको यह सामग्री मूल्यवान लगी, तो कल्पना कीजिए कि आप हमारे व्यापक 47-सप्ताह के विशिष्ट प्रशिक्षण कार्यक्रम के साथ क्या हासिल कर सकते हैं। 1,200+ से अधिक छात्रों से जुड़ें जिन्होंने यूनिट 8200 तकनीकों के साथ अपने करियर को बदल दिया है।