अरे भाई सुनो, मार्केट में एकदम गदर मच गया है। सालों से हम सब यही सुनते आ रहे थे कि AI का दिमाग एक ब्लैक बॉक्स है — अंदर क्या चल रहा है, कोई नहीं जानता, कोई नहीं समझ सकता। लेकिन अब Goodfire नाम की रिसर्च कंपनी ने सीना ठोक के दावा किया है कि ये ब्लैक बॉक्स अब खुल चुका है। कंपनी की नई रिसर्च “Neurons as an Interpretable Basis” में खुलासा हुआ है कि AI मॉडल के न्यूरॉन को सीधे पढ़ा जा सकता है, समझा जा सकता है, और तो और — मॉडल के 92.2% सबसे कमजोर न्यूरॉन हटा देने पर भी वो सिर्फ 2.9% नुकसान के साथ चलता रहा।
ये कोई छोटी बात नहीं है। अगर AI के दिमाग को पढ़ा जा सकता है, तो ये भी पता लगाया जा सकता है कि मॉडल झूठ बोल रहा है या नहीं, वो परीक्षा में चीटिंग क्यों कर रहा है, और ट्रेनिंग के दौरान वो क्या सीख रहा है। सीधी बात नो बकवास — ये रिसर्च AI की सुरक्षा और भरोसे की पूरी कहानी बदल सकती है।
Goodfire की रिसर्च में आखिर क्या मिला?
Goodfire एक interpretability रिसर्च कंपनी है — इसका काम ही AI मॉडल के अंदर झांकना है। कंपनी के को-फाउंडर और चीफ साइंटिस्ट टॉम मैकग्राथ के साथ रिसर्चर कर्ट टिग्स, मैथ्यू कोवल, ओवेन लुईस और निक कमराटा ने मिलकर ये पेपर लिखा है। पेपर 10 नवंबर 2026 को प्रकाशित हुआ और ये निक कमराटा के 15 अक्टूबर 2026 के निबंध “Neural Networks Are Already Clean” का तकनीकी साथी है।
टीम ने अपना प्रयोग Qwen3.6-35B-A3B नाम के ओपन-वेट मॉडल पर किया — 35 अरब पैरामीटर वाला एक Mixture-of-Experts मॉडल, जिसमें करीब 50 लाख कृत्रिम न्यूरॉन हैं। फ्रंटियर मॉडल के मुकाबले ये छोटा है, लेकिन रिसर्च के लिहाज से काफी बड़ा है। टीम ने न्यूरॉन की तीन ऐसी खूबियां खोजीं, जिनकी वजह से न्यूरॉन को सीधे समझा जा सकता है।
1. न्यूरॉन पहले से ही sparse हैं — 92.2% हटाओ, फिर भी चलेगा
पहली और सबसे धमाकेदार खोज ये है कि मॉडल के न्यूरॉन पहले से ही functionally sparse हैं। टीम ने हर forward pass में सबसे कमजोर 92.2% MoE न्यूरॉन एक्टिवेशन को हटा दिया — मतलब मॉडल के दिमाग का नौ-दसवां हिस्सा बंद कर दिया — और फिर भी मॉडल की language model loss सिर्फ 2.9% बढ़ी। बेंचमार्क परफॉर्मेंस पर भी असर मामूली रहा।
और तो और, ARC-AGI जैसी रीजनिंग पहेलियों पर न्यूरॉन काटने के बाद स्कोर सुधर भी गया। टीम ने सिर्फ 91 मिलियन टोकन की supervised fine-tuning और 9 मिलियन टोकन की reinforcement learning से रीजनिंग को फिर से कैलिब्रेट कर लिया। मतलब, मॉडल का ज्यादातर काम उसके सबसे तेज़ जलने वाले न्यूरॉन ही संभालते हैं — बाकी शोर है।
2. हर न्यूरॉन का एक साफ काम है — एक या दो mode, बस
दूसरी खोज ने polysemanticity की पुरानी धारणा को हिला दिया। सालों से माना जाता था कि एक न्यूरॉन कई बेमेल चीजों पर फायर करता है — जैसे एक ही न्यूरॉन बिल्लियों पर भी और कारों पर भी। Goodfire की टीम ने पाया कि ज्यादातर न्यूरॉन का या तो सिर्फ एक ही mode होता है, या एक dominant mode जो उसके कुल causal effect का 90% या उससे ज्यादा हिस्सा संभालता है।
टीम ने न्यूरॉन के सर्किट को ट्रेस किया — कौन से upstream न्यूरॉन उसे चलाते हैं और कौन से downstream न्यूरॉन उसका सिग्नल पढ़ते हैं — और पाया कि एक न्यूरॉन के कामों को एक-दो लाइन में साफ-साफ बताया जा सकता है। जैसे कोई न्यूरॉन “beetle और कीटों के पंखों की शारीरिक रचना वाले शब्दों” पर फायर करता है, तो कोई “चीनी स्वास्थ्य और वेलनेस शब्दावली” पर।
3. न्यूरॉन का विवरण लिखो, और उसकी हरकत पहले से बताओ
तीसरी खोज सबसे ज्यादा व्यावहारिक है। टीम ने AI रिसर्च एजेंट्स से हर न्यूरॉन का विवरण सामान्य भाषा में लिखवाया — और फिर उस विवरण से न्यूरॉन की हरकत का अंदाजा लगाया। नतीजे गजब के रहे:
- जज मॉडल ने विवरण के आधार पर 95% सटीकता से बताया कि न्यूरॉन किसी टेक्स्ट पर फायर करेगा या नहीं (रैंडम टेक्स्ट से तुलना में)।
- विवरण से न्यूरॉन के सबसे तेज़ एक्टिवेशन को सिम्युलेट करके, उसे हटाने से हुए नुकसान का 73% हिस्सा वापस पाया जा सका।
- विवरण से लिखा गया टेक्स्ट न्यूरॉन को 10 अरब टोकन के पूरे कॉर्पस में मिले किसी भी टेक्स्ट से ज्यादा तेज़ जला सका।
मतलब, अगर तुम किसी न्यूरॉन के बारे में एक सही विवरण लिख सकते हो, तो तुम ये भी बता सकते हो कि वो कब जलेगा, कितना जलेगा, और उसे कैसे जलाया जाए। यही असली समझ है — और यही ब्लैक बॉक्स को खोलने की चाबी है।
पुराना तरीका बनाम Goodfire का नया तरीका
अब तक interpretability की दुनिया में एक ही रास्ता माना जाता था — Sparse Autoencoders (SAE) जैसे learned feature dictionaries बनाना। पहले मॉडल को एक अलग डिक्शनरी में translate करो, फिर उस डिक्शनरी को पढ़ो। Goodfire का कहना है कि ये translate वाला कदम अक्सर बेकार है — न्यूरॉन को सीधे पढ़ो, मॉडल को उसी की भाषा में समझो।
| पहलू | पुराना तरीका (SAE / Feature Dictionary) | Goodfire का नया तरीका (सीधे न्यूरॉन) |
|---|---|---|
| अध्ययन की इकाई | सीखी हुई feature dictionary — मॉडल का proxy | न्यूरॉन खुद — मॉडल की अपनी इकाई |
| अलग ट्रेनिंग चाहिए? | हाँ, पहले dictionary train करनी पड़ती है | नहीं, सीधे न्यूरॉन पर प्रयोग |
| विवरण की सटीकता | Dictionary की गुणवत्ता पर निर्भर | 95% सटीकता — कब फायर करेगा, पहले से बताओ |
| सिम्युलेशन | सीमित | नुकसान का 73% हिस्सा विवरण से वापस पाया |
| कमजोर न्यूरॉन का असर | स्पष्ट नहीं | 92.2% हटाने पर भी loss सिर्फ 2.9% बढ़ी |
| लागत की चुनौती | Dictionary ट्रेनिंग का खर्च | बड़े मॉडल पर प्रति न्यूरॉन लागत — ट्रिलियन पैरामीटर पर भारी |
ये रिसर्च इतनी बड़ी क्यों है? झूठ पकड़ने से लेकर चीटिंग रोकने तक
The Deep View को दिए इंटरव्यू में टॉम मैकग्राथ ने साफ कहा — अगर हम न्यूरॉन को पढ़ सकते हैं, तो हम मॉडल से सच उगलवा सकते हैं। “क्या ये मॉडल मुझसे झूठ बोल रहा है? क्या ये कुछ जानता है जो बता नहीं रहा?” — इन सवालों का ग्राउंड ट्रुथ जवाब मिल सकता है। मतलब, AI का एक असली lie detector बनना अब कल्पना नहीं रहा।
दूसरी बड़ी application है reward hacking को रोकना। Goodfire के एक और पेपर में दिखाया गया है कि जब मॉडल ट्रेनिंग में परीक्षा में चीटिंग करता है, तो उसे पता होता है कि वो गलत कर रहा है — और वो फिर भी करता है, क्योंकि उसे इनाम मिलता है। अब जब हम वो हिस्से खोज सकते हैं जो चीटिंग सीखने के लिए जिम्मेदार हैं, तो हम उसे सीखने से रोक सकते हैं। मैकग्राथ के मुताबिक, इससे मॉडल का गलत रास्ते पर जाना भी रोका जा सकेगा।
तीसरी बात — ट्रेनिंग पर कंट्रोल। आज हम मॉडल को डेटा फेंककर train करते हैं और उम्मीद करते हैं कि वो वही सीखे जो हम चाहते हैं। अक्सर वो कुछ और ही सीख जाता है। न्यूरॉन को समझकर हम कंट्रोल कर सकते हैं कि ट्रेनिंग के दौरान क्या सीखा जाए।
आम जनता और भारतीय युवाओं के लिए क्यों है खास?
अगर आप अब भी यही सोच रहे हैं कि ये रिसर्च सिर्फ लैब के लोगों के लिए है, तो संभल जाइए — इसका असर सीधे आप तक पहुंचेगा। आज आप ChatGPT, Gemini, Claude जैसे AI टूल्स से पढ़ाई, नौकरी, कोडिंग और बिजनेस में मदद ले रहे हैं। अगर इन मॉडल्स के अंदर क्या चल रहा है, ये पता लगाया जा सकता है, तो ये टूल्स ज्यादा भरोसेमंद, ज्यादा सुरक्षित और ज्यादा ईमानदार बनेंगे।
भारतीय युवाओं के लिए तो ये एक तगड़ा मौका है। AI safety और interpretability एक नया करियर फील्ड बन रहा है — और ये वो फील्ड है जहां अभी एक्सपर्ट बहुत कम हैं। Goodfire ने अपना public neuron atlas भी जारी किया है, मतलब कोई भी स्टूडेंट या रिसर्चर न्यूरॉन को खुद देख-समझ सकता है। जो युवा आज interpretability सीखेगा, वो कल उन कंपनियों की पहली पसंद होगा जो AI को सुरक्षित बनाना चाहती हैं।
और हां, भारत में AI का इस्तेमाल सरकारी सेवाओं, शिक्षा और हेल्थकेयर में बढ़ रहा है। अगर AI के फैसले पारदर्शी होंगे, तो आम जनता का भरोसा भी बढ़ेगा — और भरोसा ही वो चीज है जो AI को हर घर तक पहुंचाएगी।
रिसर्चर्स ने ये सब कैसे किया? 4 कदमों में समझो
- Sparsification: सबसे पहले टीम ने मॉडल के कमजोर न्यूरॉन एक्टिवेशन को हटाकर देखा — 92.2% हटाने पर भी loss सिर्फ 2.9% बढ़ी। इससे पता चला कि असली काम सिर्फ तेज़ जलने वाले न्यूरॉन करते हैं।
- Circuit Attribution: फिर हर न्यूरॉन के सर्किट को ट्रेस किया — कौन से न्यूरॉन उसे चलाते हैं और कौन उसका सिग्नल पढ़ते हैं — ताकि उसके काम के mode पहचाने जा सकें।
- Agent-written Descriptions: AI रिसर्च एजेंट्स से हर न्यूरॉन का विवरण सामान्य भाषा में लिखवाया गया, ताकि उसे एक-दो लाइन में समझाया जा सके।
- Prediction और Simulation Test: आखिर में विवरण से न्यूरॉन की हरकत का अंदाजा लगाया — 95% सटीकता से फायरिंग की भविष्यवाणी और 73% नुकसान की भरपाई।
सावधानी भी जरूरी — अभी सब कुछ साबित नहीं हुआ
गजब का भौकाल मचाने वाली इस रिसर्च की कुछ सीमाएं भी हैं, और उन्हें छिपाना बेईमानी होगी। पहली बात — ये पेपर अभी peer-reviewed नहीं है। दूसरी बात — प्रयोग सिर्फ एक मिड-साइज़ ओपन मॉडल Qwen3.6-35B-A3B पर हुआ है, जो फ्रंटियर मॉडल के मुकाबले छोटा है। तीसरी बात — सिम्युलेशन टेस्ट सिर्फ सबसे तेज़ 0.1% एक्टिवेशन पर हुआ है।
सबसे बड़ी चुनौती है लागत। मैकग्राथ के मुताबिक, अगर एक न्यूरॉन को समझने में करीब 1 डॉलर लगता है, तो ट्रिलियन-पैरामीटर मॉडल को समझने में 100 मिलियन डॉलर तक लग सकते हैं। लेकिन उनकी दलील है कि सुरक्षा के लिए अहम सिस्टम को समझने के लिए ये खर्च वाजिब है। साथ ही, जैसे-जैसे मॉडल बेहतर होते जा रहे हैं, वो ज्यादा interpretable भी होते जा रहे हैं — sparsity की तरफ हर ट्रेंड इसी दिशा में धकेल रहा है।
निष्कर्ष
Goodfire की रिसर्च ने एक पुरानी धारणा को तोड़ दिया है — AI का दिमाग अब अंधेरे में टटोलने वाली चीज नहीं रहा। 92.2% न्यूरॉन हटाने पर भी मॉडल चलता रहा, हर न्यूरॉन का काम एक-दो लाइन में बताया जा सका, और विवरण से उसकी हरकत की 95% सटीक भविष्यवाणी हो गई। ये तीनों नतीजे मिलकर कहते हैं कि न्यूरॉन को सीधे पढ़ा जा सकता है — और यही AI को समझने, भरोसा करने और सुरक्षित बनाने का रास्ता है।
हां, अभी ये शुरुआत है — एक मॉडल, एक पेपर, कई सवाल बाकी। लेकिन अगर ये दिशा सही निकली, तो आने वाले सालों में AI का ब्लैक बॉक्स इतिहास की किताबों में दर्ज हो जाएगा। और भारतीय युवाओं के लिए तो ये साफ संदेश है — interpretability सीखो, क्योंकि AI को समझने वालों की मांग अब सिर्फ बढ़ने वाली है।
पिछला लेख पढ़ें: Applied Compute को $350M: 18 महीने में $100M कमाई!
आधिकारिक रिसर्च पेपर यहाँ पढ़ें: Goodfire — Neurons as an Interpretable Basis (10 नवंबर 2026)
