एआई रिसर्च अपडेट

LLM ने खुद बनाया 1800x छोटा AI, Transformer को हराया!

Suvadip Ghara
By Suvadip Ghara On November 20, 2026
4 min read • 1.2k views

अरे भाई सुनो, AI की दुनिया में एकदम गदर मच गया है। जिस Transformer डिज़ाइन पर आज के सारे बड़े AI मॉडल खड़े हैं, उसी को तीन दिग्गज AI मॉडल्स ने ठुकरा दिया है। जब उनसे कहा गया कि बिना किसी ट्रेनिंग के, अपने हाथ से एक छोटे मॉडल के वेट्स लिखो, तो तीनों ने Transformer बनाने के बजाय एक साधारण सी टेबल बना डाली। और वो टेबल, उसी साइज़ के Transformer से लगभग दोगुनी अच्छी निकली। सीधी बात नो बकवास, ये रिसर्च AI के भविष्य की दिशा ही बदल सकती है।

ये खुलासा दक्षिण कोरिया की POSTECH यूनिवर्सिटी के शोधकर्ताओं Hyunjong Ok और Jaeho Lee के पेपर “Weight-Space Programming Doesn’t Need Transformers” में हुआ है, जो 17 नवंबर 2026 को arXiv पर आया। पेपर में Claude Opus 5.5, GPT-6.1 Sol और GPT-6 Astra को आज़ादी दी गई कि वो खुद तय करें कि छोटा मॉडल कैसा हो। तीनों ने एक ही जवाब दिया, एक sparse lookup table। सबसे अच्छे मॉडल ने ARC बेंचमार्क पर 54.4% स्कोर किया, जबकि उसी साइज़ के Transformer को सिर्फ 29.8% मिला।

Weight-Space Programming आखिर है क्या?

आमतौर पर AI मॉडल को ट्रेन करने के लिए gradient descent नाम की तकनीक इस्तेमाल होती है, जिसमें मॉडल लाखों-करोड़ों बार अपने वेट्स को थोड़ा-थोड़ा सुधारता है। Weight-space programming में ये पूरा चक्कर ही खत्म कर दिया जाता है। इसमें एक बड़ा LLM, दूसरे छोटे मॉडल के वेट्स को सीधे अपने हाथ से लिखता है, बिना किसी gradient descent के। मतलब, बड़ा AI छोटे AI का दिमाग खुद बनाता है, एक ही झटके में।

Transformer को इसलिए चुना गया था क्योंकि वो gradient descent से अच्छी तरह ट्रेन होता है और GPU पर तेज़ चलता है। लेकिन जब gradient descent ही नहीं है, तो Transformer चुनने की वजह ही खत्म हो जाती है। यही सवाल POSTECH की टीम ने पूछा, और जवाब ने सबको चौंका दिया।

तीनों दिग्गज AI ने एक ही चीज़ क्यों बनाई?

रिसर्चरों ने तीनों फ्रंटियर मॉडल्स को सिर्फ 10 लेबल वाले उदाहरण, एक sandbox और कम से कम गाइडेंस दी। ज़्यादातर सवाल multiple-choice थे। जब मॉडल्स को डिज़ाइन की पूरी आज़ादी मिली, तो Claude Opus 5.5, GPT-6.1 Sol और GPT-6 Astra, तीनों ने एक ही रास्ता चुना। उन्होंने plain-text फैक्ट्स को एक sparse table में डाल दिया, जिसे एक fixed procedure से पढ़ा जाता है।

Sparse table का मतलब है ऐसी टेबल जिसमें ज़्यादातर खाने खाली हों, और सिर्फ काम की जानकारी भरी हो। ये ठीक वैसे ही है जैसे किताब के आखिर में दिया गया index, जिसमें हर जवाब की सही जगह लिखी हो। Transformer की तरह इसमें जानकारी बिखरी हुई नहीं होती, हर फैक्ट की अपनी एक पंक्ति होती है।

Claude Opus 5.5 का मॉडल सबसे आगे निकला

तीनों में सबसे अच्छा मॉडल Claude Opus 5.5 ने बनाया। सिर्फ 3.35 मिलियन पैरामीटर वाला उसका sparse-table मॉडल ARC बेंचमार्क पर 54.4% तक पहुंचा। वहीं, उसी साइज़ का दो-लेयर वाला Transformer, जिसे gradient descent से ट्रेन किया गया था, सिर्फ 29.8% पर अटका रहा। पेपर के मुताबिक, LLM के डिज़ाइन किए मॉडल ने उसी LLM के लिखे सबसे अच्छे Transformer से ज़्यादा स्कोर किया, और वो भी लगभग 1,800 गुना कम पैरामीटर के साथ।

Sparse Table बनाम Transformer: सीधी तुलना

पैमानाLLM की बनाई Sparse Tableउसी साइज़ का Transformer
पैरामीटर3.35 मिलियन3.33 मिलियन
ARC बेंचमार्क स्कोर54.4%29.8%
GPU पर स्पीडउसी साइज़ के Transformer से 17 गुना तक तेज़बेसलाइन
गलती सुधारनागलत जवाब की एक पंक्ति ढूंढकर ठीक किया जा सकता हैगलती का पता लगाना मुश्किल, पूरा मॉडल फिर से ट्रेन करना पड़ता है
हर वेट का मतलबLLM बता सकता है कि हर वेट का क्या मतलब हैवेट्स का मतलब समझना लगभग नामुमकिन
ट्रेनिंग का तरीकाबिना gradient descent, LLM ने हाथ से लिखाGradient descent से ट्रेन किया गया

सबसे बड़ा धमाका: हर गलती की जड़ एक पंक्ति में

इस रिसर्च की सबसे तगड़ी बात ये है कि टेबल वाला मॉडल पूरी तरह समझने लायक है। अगर मॉडल गलत जवाब देता है, तो हर गलत जवाब एक ही पंक्ति की तरफ इशारा करता है। उस एक पंक्ति को हटाने से लगभग एक ही और जवाब बदलता है। मतलब, LLM न सिर्फ बता सकता है कि हर वेट का क्या मतलब है, बल्कि गलत वेट को ढूंढकर उसे दोबारा लिख भी सकता है।

आज के बड़े मॉडल्स के साथ ये नामुमकिन है। Transformer में जानकारी अरबों वेट्स में बिखरी होती है, और कोई नहीं बता सकता कि कौन सा वेट किस फैक्ट को संभाल रहा है। इसलिए अगर मॉडल कुछ गलत कहता है, तो उसे ठीक करने के लिए पूरा मॉडल दोबारा ट्रेन करना पड़ता है। Sparse table इस पूरी समस्या को ही पलट देता है। रिसर्चरों ने इसी आइडिया से एक associative-memory मॉडल भी बनाया है, जो GPU पर उसी साइज़ के Transformer से 17 गुना तक तेज़ चलता है।

लेकिन रुकिए, पूरी कहानी ये नहीं है

यहां सीना ठोक के एक बात साफ कर देते हैं। इसका मतलब ये बिल्कुल नहीं है कि छोटे टेबल वाले मॉडल अब ChatGPT या Claude को हरा देंगे। पेपर खुद कहता है कि पहले से ट्रेन किए गए बड़े LLM अब भी ज़्यादा सटीक हैं। ये दावा सिर्फ इस बारे में है कि जब LLM बिना gradient descent के वेट्स लिख रहा हो, तो उसे कौन सी बनावट बनानी चाहिए।

इसकी सीमाएं भी साफ हैं। MMLU बेंचमार्क पर इन मॉडल्स का स्कोर लगभग 25% रहा, जो अंदाज़े से जवाब देने जितना ही है। कच्चे पिक्सल से CIFAR-10 इमेज पहचानने पर स्कोर सिर्फ 21 से 28% के बीच रहा। यानी ये तरीका अभी सिर्फ फैक्ट वाले multiple-choice सवालों पर कमाल दिखाता है, हर तरह के काम पर नहीं। और ये भी याद रखिए, ये पेपर अभी arXiv पर आया एक preprint है, इसकी peer review नहीं हुई है।

आम जनता और भारतीय युवाओं के लिए क्यों है खास?

अगर आप अब भी यही सोच रहे हैं कि ये सिर्फ लैब की कहानी है, तो संभल जाइए। इस रिसर्च का असर सीधे आपकी जेब और आपके करियर पर पड़ सकता है। पहला, अगर छोटे मॉडल टेबल से बनने लगे, तो AI चलाने की लागत समोसे की कीमत में आ सकती है। आज जो काम करोड़ों के GPU क्लस्टर पर होता है, वो कल सस्ते फोन और छोटे सर्वर पर हो सकता है।

दूसरा, भारत के युवाओं के लिए ये एक सुनहरा मौका है। Weight-space programming एक बिल्कुल नया फील्ड है, जिसमें अभी रिसर्च की शुरुआत ही हुई है। जो छात्र और डेवलपर अभी इसमें घुसेंगे, वो इस फील्ड के पहले एक्सपर्ट बनेंगे। तीसरा, जिस AI की हर गलती को एक पंक्ति में ढूंढा जा सके, वो AI बैंकिंग, हेल्थकेयर और सरकारी कामों में भरोसे के साथ इस्तेमाल हो सकेगा, क्योंकि उसकी हर गलती का हिसाब होगा।

और सबसे बड़ी बात, ये रिसर्च दिखाती है कि AI की दुनिया में अभी भी बड़े सवाल खुले हैं। Transformer को 2017 से सबने अंतिम सत्य मान लिया था, लेकिन तीन AI मॉडल्स ने खुद ही बता दिया कि बिना gradient descent के वो कुछ और ही चुनेंगे। यानी AI रिसर्च में अभी भी गदर मचाने की जगह बाकी है।

खुद इस रिसर्च को कैसे देखें और समझें?

अगर आप इस पेपर को खुद पढ़ना और आज़माना चाहते हैं, तो ये आसान कदम अपनाएं।

  1. सबसे पहले arXiv पर पेपर “Weight-Space Programming Doesn’t Need Transformers” (arXiv:2611.22055) खोलें और abstract पढ़ें, जिसमें सारे मुख्य नतीजे एक ही जगह दिए हैं।
  2. पेपर के साथ रिसर्चरों ने अपना कोड GitHub पर पब्लिक किया है, उसे देखें और समझें कि sparse table कैसे बनाई गई।
  3. ARC बेंचमार्क को समझें, ये विज्ञान के सवालों पर आधारित टेस्ट है, जिस पर 54.4% स्कोर आया है।
  4. पेपर की सीमाएं भी पढ़ें, खासकर MMLU और CIFAR-10 वाले हिस्से, ताकि आप जान सकें कि ये तरीका कहां काम करता है और कहां नहीं।
  5. Weight-space programming के पुराने काम को भी देखें, MIT की रिसर्च में भी LLM छोटे नेटवर्क के वेट्स लिख चुके हैं, ये फील्ड तेज़ी से बढ़ रहा है।

निष्कर्ष

POSTECH की ये रिसर्च AI की दुनिया का एक बड़ा मोड़ है। तीन फ्रंटियर LLM, Claude Opus 5.5, GPT-6.1 Sol और GPT-6 Astra, जब अपने हाथ से छोटा मॉडल बनाने के लिए आज़ाद हुए, तो तीनों ने Transformer को छोड़कर sparse table चुनी। 3.35 मिलियन पैरामीटर वाला मॉडल 54.4% स्कोर के साथ उसी साइज़ के Transformer से लगभग दोगुना अच्छा निकला, 17 गुना तेज़ चला, और उसकी हर गलती एक पंक्ति में ढूंढी जा सकती है। हां, ये अभी शुरुआत है, बड़े प्री-ट्रेन्ड मॉडल अब भी आगे हैं और पेपर की peer review बाकी है। लेकिन एक बात तय है, Transformer को चुनौती देने वाला रास्ता अब खुल चुका है, और आने वाले महीनों में इस पर और धमाकेदार रिसर्च देखने को मिलेगी।

पिछला लेख पढ़ें:

Soket AI को Bajaj Finserv से $4M, EKA-1 धमाका!

आधिकारिक पेपर पढ़ें: Weight-Space Programming Doesn’t Need Transformers — arXiv:2611.22055

Suvadip Ghara

Suvadip Ghara

Bringing you the latest news and in-depth analysis from around the world.

Leave a Comment