OpenAI-Google समेत 4 दिग्गजों का AI ऑप्ट-आउट!

अरे भाई सुनो, मार्केट में एकदम गदर मच गया है। 30 अक्टूबर 2026 को दुनिया की चार सबसे बड़ी AI कंपनियों OpenAI, Google, Microsoft और Anthropic ने एक साथ एक ऐसा फैसला सुनाया है, जिससे अब वेबसाइट मालिकों को अपने कंटेंट की किस्मत पर सीधा कंट्रोल मिलने जा रहा है। अब तक हर कंपनी के लिए अलग-अलग नियम लिखने पड़ते थे, लेकिन अब सिर्फ एक ही नियम काफी होगा। सीधी बात नो बकवास, यह खबर हर ब्लॉगर, न्यूज साइट और कंटेंट क्रिएटर के लिए तगड़ा जुगाड़ है।

इस नए सिस्टम का नाम है साझा robots.txt सिग्नल, यानी एक ऐसा टोकन जिसे वेबसाइट की robots.txt फाइल में डालते ही चारों कंपनियों को एक साथ यह संदेश चला जाएगा कि इस साइट का कंटेंट AI मॉडल की ट्रेनिंग में इस्तेमाल नहीं करना है। OpenAI ने 30 अक्टूबर 2026 को अपने आधिकारिक ब्लॉग में साफ कहा है कि वह इस साझा सिग्नल का सम्मान करेगा, और उसके पुराने क्रॉलर कंट्रोल भी पहले की तरह लागू रहेंगे।

आखिर यह नया AI ऑप्ट-आउट नियम है क्या?

robots.txt वह छोटी सी फाइल होती है जो हर वेबसाइट के रूट में रहती है और ऑटोमेटेड बॉट्स को बताती है कि साइट के किस हिस्से तक पहुंचना है और किस तक नहीं। अब तक दिक्कत यह थी कि हर AI कंपनी का अपना क्रॉलर होता था, जैसे OpenAI का GPTBot और Google का Google-Extended, और हर एक के लिए अलग-अलग नियम बनाने पड़ते थे। नई कंपनी आते ही फिर से मेहनत बढ़ जाती थी।

नया साझा सिग्नल इसी झंझट को खत्म करता है। यह Internet Engineering Task Force (IETF) के AI Preferences वर्किंग ग्रुप के काम पर आधारित एक ड्राफ्ट है, जिसे Anthropic के केविन केली ने 30 अक्टूबर 2026 को Internet-Draft के रूप में लिखा है। इसका टोकन है __usage_ai-training। वेबसाइट मालिक को अपनी robots.txt में बस यह दो लाइनें जोड़नी हैं:

User-Agent: __usage_ai-training
Disallow: /

इसका मतलब है कि भाग लेने वाली कंपनियां इस साइट के कंटेंट को जनरेटिव AI मॉडल की ट्रेनिंग के लिए इस्तेमाल नहीं करेंगी। अगर मालिक चाहे तो सिर्फ कुछ फोल्डर के लिए भी ऑप्ट-आउट कर सकता है, जैसे सिर्फ प्रीमियम आर्टिकल वाले सेक्शन के लिए, और बाकी साइट खुली रख सकता है।

कौन सी कंपनी कब से मानेगी यह नियम?

यहां एक बात सीना ठोक के समझ लीजिए, यह नियम अभी हर जगह एक साथ लागू नहीं हो रहा है। हर कंपनी का अपना टाइमलाइन है, और यही इस खबर का सबसे जरूरी हिस्सा है।

Google की तरफ से यह भी साफ किया गया है कि अगर कोई साइट साझा टोकन से ऑप्ट-आउट करती है और सीधे तौर पर Google-Extended का जिक्र नहीं करती, तो Google उसे ऐसा मानेगा जैसे साइट ने Google-Extended को ही ब्लॉक कर दिया हो। Microsoft इससे एक कदम आगे जाकर AI ग्राउंडिंग के लिए अलग कंट्रोल भी ला रहा है, यानी वह प्रक्रिया जिसमें चैट जवाबों में लाइव वेब कंटेंट खींचा जाता है, वह ट्रेनिंग से अलग चीज है।

क्या-क्या इस नियम से नहीं रुकेगा? यह जानना सबसे जरूरी है

टेक दिग्गजों की रातों की नींद हराम करने वाली इस खबर में एक बड़ा लेकिन भी है, जिसे समझे बिना फैसला लेना गलत होगा। यह सिग्नल सिर्फ ट्रेनिंग पर लागू होता है, क्रॉलिंग, सर्च या AI जवाबों पर नहीं।

यह सिग्नल क्या नहीं करता?

पहला, यह साइट को सर्च रिजल्ट से नहीं हटाता। Microsoft ने साफ कहा है कि ट्रेनिंग से ऑप्ट-आउट करने पर Bing के सामान्य सर्च रिजल्ट में जगह पर कोई असर नहीं पड़ेगा। दूसरा, यह पहले से इकट्ठा किए गए डेटा या पहले से ट्रेन किए गए मॉडल से कंटेंट को नहीं हटाता। यानी जो डेटा पहले ही ट्रेनिंग में जा चुका है, वह इस नियम से वापस नहीं आएगा। तीसरा, यह एक स्वैच्छिक व्यवस्था है, कोई कानूनी बाध्यता नहीं। जो कंपनी इसे मानना चाहेगी, वही मानेगी, और जो नहीं मानेगी, उस पर यह नियम लागू नहीं होगा।

चौथा और सबसे अहम सच यह है कि यह अभी कोई पक्का स्टैंडर्ड नहीं है। IETF के डेटाट्रैकर पर साफ दर्ज है कि यह एक इंडिविजुअल Internet-Draft है, जिसे IETF ने औपचारिक रूप से मंजूरी नहीं दी है और 3 मई 2027 को इसकी समय-सीमा खत्म हो जाएगी, अगर इसे अपडेट नहीं किया गया। इसलिए इसे तुरंत लागू होने वाला कानून समझना भूल होगी, यह एक साझा शुरुआत है, मंजिल नहीं।

पुराने तरीके से कितना बेहतर है नया तरीका?

आम जनता और भारतीय युवाओं के लिए क्यों है खास?

अगर आप ब्लॉग चलाते हैं, यूट्यूब के लिए आर्टिकल लिखते हैं, फ्रीलांसिंग से कंटेंट बेचते हैं या अपनी न्यूज वेबसाइट बनाने का सपना देख रहे हैं, तो यह खबर सीधे आपकी जेब से जुड़ी है। भारत में हजारों छोटे क्रिएटर अपनी मेहनत से आर्टिकल, फोटो और रिसर्च तैयार करते हैं, और फिर वही कंटेंट बिना पूछे AI ट्रेनिंग में चला जाता था। अब एक लाइन से आप अपनी मेहनत की कीमत खुद तय करने की तरफ पहला कदम बढ़ा सकते हैं।

भारतीय युवाओं के लिए यह एक नया स्किल भी है। जो युवा वेबसाइट मैनेजमेंट, SEO या डिजिटल पब्लिशिंग सीख रहे हैं, उनके लिए robots.txt और AI ट्रेनिंग प्रेफरेंस समझना अब चाय की टपरी पर चर्चा से आगे बढ़कर क्लाइंट को दी जाने वाली असली सर्विस बन जाएगा। छोटे पब्लिशर अपने क्लाइंट को यह सेटअप करके दे सकते हैं, और यह काम समोसे की कीमत में नहीं, बल्कि एक प्रोफेशनल सर्विस की तरह बिकेगा। साथ ही, यह खबर यह भी सिखाती है कि टेक्नोलॉजी में अपना हक मांगने के लिए कानून का इंतजार करने की जरूरत नहीं, सही टूल का इस्तेमाल ही पहला हथियार है।

अपनी वेबसाइट में यह नियम कैसे लगाएं?

अगर आप अब भी वही पुराने घिसे-पिटे तरीके अपना रहे हैं, तो संभल जाइए, क्योंकि नया तरीका बेहद आसान है। नीचे दिए गए स्टेप्स को ध्यान से फॉलो कीजिए।

1. अपनी वेबसाइट की robots.txt फाइल खोलिए, जो आमतौर पर आपकी साइट के रूट में मिलती है, जैसे yoursite.com/robots.txt।
2. उसमें यह ब्लॉक जोड़िए: User-Agent: __usage_ai-training और उसके नीचे Disallow: /। अगर सिर्फ कुछ फोल्डर बचाने हैं तो Disallow के आगे सिर्फ वही फोल्डर लिखिए।
3. अपने पुराने कंपनी-वार नियमों को तुरंत मत हटाइए, क्योंकि नया सिग्नल अभी हर कंपनी में पूरी तरह लागू नहीं हुआ है। पुराने नियम ही आज की तारीख में असली सुरक्षा हैं।
4. फाइल सेव करने के बाद उसे ब्राउजर में खोलकर जांचिए कि दोनों लाइनें सही-सही दिख रही हैं और कोई टाइपो नहीं है।
5. Google, Microsoft और OpenAI के आने वाले अपडेट पर नजर रखिए, क्योंकि Microsoft का 1 फरवरी 2027 का टारगेट और Google का 2027 का प्लान ही बताएगा कि यह नियम कब पूरी तरह काम करने लगेगा।

एक चेतावनी और, यह सिग्नल कोई सिक्योरिटी लॉक नहीं है। यह एक भरोसे पर आधारित व्यवस्था है, यानी जो कंपनी इसे मानना चाहेगी, वही मानेगी। इसलिए इसे अपनी एकमात्र सुरक्षा समझकर बाकी सावधानियां छोड़ देना सबसे बड़ी गलती होगी।

निष्कर्ष

सीधी बात यह है कि 30 अक्टूबर 2026 का यह ऐलान AI की दुनिया में पब्लिशर के हक की दिशा में एक बड़ा कदम है, लेकिन यह कोई जादू की छड़ी नहीं है। एक ही नियम, चार दिग्गजों की सहमति और अलग-अलग टाइमलाइन, यही इस खबर का पूरा सच है। समझदारी इसी में है कि आप आज ही robots.txt में यह सिग्नल जोड़कर भविष्य की तैयारी कर लें, लेकिन पुराने कंट्रोल को भी साथ में चालू रखें। जो क्रिएटर आज यह छोटा सा कदम उठाएगा, वही कल अपने कंटेंट की कीमत पर सबसे मजबूत दावेदारी कर पाएगा।

पिछला लेख पढ़ें:

RAKSHAM हैकाथॉन: 5 विजेता टीमों को ₹2 लाख तक इनाम

आधिकारिक ऐलान यहां पढ़ें: OpenAI का आधिकारिक ब्लॉग: Making it easier for websites to express AI training preferences