अरे भाई सुनो, AI की दुनिया में एकदम गदर मच गया है। अब तक AI चैटबॉट की सबसे बड़ी कमजोरी यही थी कि वह लंबी बातचीत भूल जाता था — किताब भर टेक्स्ट दो तो बीच का हिस्सा गायब। अब एक नई रिसर्च ने इस दीवार को ही तोड़ दिया है। नाम है RecSA, और 4 नवंबर 2026 को arXiv पर आया इसका पेपर बता रहा है कि AI अब 20 लाख टोकन तक का कॉन्टेक्स्ट संभाल सकता है — और वह भी पहले से 3.8 गुना तेज़ रफ्तार से।
सीधी बात नो बकवास — यह कोई छोटा-मोटा सुधार नहीं है। जिस AI मॉडल को सिर्फ 32,000 टोकन की ट्रेनिंग मिली थी, वह अब 20 लाख टोकन तक फैलकर भी सटीक जवाब दे रहा है। लंबी किताबें, हज़ारों पेज के लीगल डॉक्युमेंट, पूरी कोडबेस — सब एक ही बार में AI की याद में। टेक दिग्गजों की रातों की नींद हराम हो चुकी है, क्योंकि लंबा कॉन्टेक्स्ट अब महंगे सुपरकंप्यूटर का खेल नहीं रहा।
RecSA क्या है?
RecSA का पूरा नाम है Recursive Sparse Attention — एक नया तरीका जिससे AI मॉडल बहुत लंबे टेक्स्ट को पढ़ते समय अपनी मेमोरी और रफ्तार दोनों बचाता है। इसे चार शोधकर्ताओं — रुइतियान वांग, शिन्यु यांग, मिनशेन झांग और हाओ झांग — ने विकसित किया है। पेपर का शीर्षक है “Recursive Sparse Attention: Million-Token Length Extrapolation at Logarithmic Cost” और यह arXiv पर 4 नवंबर 2026 को प्रकाशित हुआ है (arXiv:2611.07232)।
समस्या यह थी कि AI जब लंबा टेक्स्ट पढ़ता है, तो हर शब्द को बाकी हर शब्द से जोड़कर देखता है — इसे dense attention कहते हैं। टेक्स्ट दोगुना हो तो काम चार गुना बढ़ जाता है, और 10 लाख टोकन पर यह बोझ इतना भारी हो जाता है कि एक GPU पर काम करना लगभग नामुमकिन हो जाता है। RecSA इस बोझ को पेड़ (tree) जैसी संरचना से हल्का कर देता है — ठीक वैसे ही जैसे आप पूरी किताब दोबारा पढ़ने के बजाय पहले उसके चैप्टर-सारांश देखते हैं, फिर सिर्फ ज़रूरी पेज खोलते हैं।
RecSA कैसे काम करता है?
RecSA की चालाकी चार साफ कदमों में समझी जा सकती है:
- पेड़ बनाओ: AI पहले पूरे टेक्स्ट की KV cache को एक पेड़ जैसी संरचना में बांट देता है — नीचे छोटे-छोटे टुकड़े, ऊपर बड़े समूह।
- सारांश बनाओ: पेड़ का हर नोड अपने नीचे के पूरे हिस्से का सार एक ही key और एक mean-pooled value में समेट लेता है। एक ही pooler हर लेयर में काम करता है, जिसे dense attention से सीखकर तैयार किया गया है।
- सिर्फ ज़रूरी चुनो: हर सवाल (query) पेड़ के हर स्तर से ज़्यादा से ज़्यादा k उम्मीदवार ही चुनता है। इसलिए चुनाव का खर्च O(L) से घटकर O(log L) रह जाता है — यानी टेक्स्ट 10 गुना लंबा हो तो काम सिर्फ थोड़ा सा बढ़ता है।
- दूरी की चालाकी: हर एंट्री की पोज़िशन उसके अपने स्तर के उम्मीदवारों के बीच गिनी जाती है, इसलिए कितनी भी लंबाई पर हर सापेक्ष दूरी ट्रेनिंग के दौरान देखी गई सीमा के अंदर ही रहती है — लंबाई बढ़ने पर मॉडल भटकता नहीं।
सबसे बड़ी बात यह है कि RecSA को Qwen3-4B मॉडल पर सिर्फ 0.62 अरब (620 मिलियन) टोकन की ट्रेनिंग दी गई — और वह भी मूल मॉडल की 32,000 टोकन की ट्रेनिंग लंबाई पर ही। यानी लंबी किताबों पर ट्रेनिंग दिए बिना ही मॉडल ने लंबा कॉन्टेक्स्ट संभालना सीख लिया। लंबी ट्रेनिंग डेटा की कमी — जो अब तक इस क्षेत्र की सबसे बड़ी रुकावट थी — अब रुकावट ही नहीं रही।
आंकड़े क्या कहते हैं? RULER बेंचमार्क पर धमाका
शोधकर्ताओं ने RecSA को RULER बेंचमार्क पर 131,000 टोकन से लेकर 20 लाख टोकन तक आज़माया — और हर लंबाई पर इसने सभी बेसलाइन तरीकों को पीछे छोड़ दिया।
| पैमाना | सबसे अच्छा पुराना तरीका | RecSA |
|---|---|---|
| 1M टोकन पर RULER स्कोर | 40.0 (Dense + DCA) | 60.5 |
| 2M टोकन पर RULER स्कोर | 34.0 (InfiniteHiP) | 49.3 |
| 1M टोकन पर पढ़ा गया हिस्सा | पूरी लंबाई स्कैन | सिर्फ 1.16% टोकन |
| Prefill रफ्तार (524K, एक H200 GPU) | बेसलाइन | 3.2 गुना तेज़ |
| Decoding रफ्तार (524K, एक H200 GPU) | बेसलाइन | 3.8 गुना तेज़ |
| ट्रेनिंग डेटा | लंबे डॉक्युमेंट पर निर्भर | सिर्फ 0.62B टोकन, 32K लंबाई पर |
गौर करने वाली बात यह है कि 10 लाख टोकन के कॉन्टेक्स्ट में RecSA सिर्फ 1.16% टोकन ही पढ़ता है — और फिर भी 60.5 का स्कोर लाता है, जबकि सबसे अच्छा पुराना तरीका 40.0 पर अटक जाता है। यानी कम मेहनत, ज़्यादा सटीकता। और 64,000 टोकन से लेकर 20 लाख टोकन तक, हर लंबाई पर यह dense attention से तेज़ रहा। एक अकेले H200 GPU पर 524,000 टोकन के कॉन्टेक्स्ट में prefill 3.2 गुना और decoding 3.8 गुना तेज़ हुई — इसका मतलब है कि मिलियन-टोकन सर्विंग अब एक ही GPU पर मुमकिन हो गई है।
Dense Attention vs RecSA — फर्क साफ है
| पहलू | Dense Attention (पुराना तरीका) | RecSA (नया तरीका) |
|---|---|---|
| चुनाव का खर्च | O(L) — लंबाई के साथ सीधा बढ़ता है | O(log L) — लंबाई बढ़ने पर भी लगभग स्थिर |
| लंबी ट्रेनिंग डेटा की ज़रूरत | लंबे डॉक्युमेंट चाहिए, जो कम मिलते हैं | सिर्फ 32K लंबाई पर ट्रेनिंग, फिर भी 2M तक फैलाव |
| 1M टोकन पर सटीकता | 40.0 (सबसे अच्छा बेसलाइन) | 60.5 |
| एक GPU पर रफ्तार | भारी, महंगा | Prefill 3.2x, decoding 3.8x तेज़ |
आम जनता और भारतीय युवाओं के लिए क्यों है खास?
अब सवाल यह है — यह रिसर्च आपके काम की कैसे है? सीधी बात यह है कि लंबा कॉन्टेक्स्ट ही AI का अगला बड़ा मोर्चा है। सोचिए — एक छात्र अपनी पूरी किताब, एक वकील हज़ारों पेज का केस फाइल, एक प्रोग्रामर पूरी कोडबेस एक ही बार में AI को दे सके, और AI कुछ भी भूले बिना जवाब दे। RecSA जैसे तरीके इस भविष्य को सस्ता बनाते हैं — एक GPU पर मिलियन-टोकन सर्विंग का मतलब है कि छोटे स्टार्टअप और भारतीय डेवलपर भी यह ताकत इस्तेमाल कर सकेंगे, सिर्फ बड़ी कंपनियां नहीं।
भारतीय युवाओं के लिए यह तगड़ा जुगाड़ है — लंबा कॉन्टेक्स्ट, एजेंटिक AI और कुशल इन्फ्रास्ट्रक्चर पर काम करने वाले इंजीनियरों की मांग तेज़ी से बढ़ रही है। Qwen3 जैसे ओपन मॉडल पर बना यह काम यह भी दिखाता है कि सिर्फ 0.62 अरब टोकन की ट्रेनिंग से भी बड़ा नतीजा निकल सकता है — यानी रिसर्च के लिए अब करोड़ों का बजट ही सब कुछ नहीं। अगर आप AI, LLM इन्फ्रास्ट्रक्चर या मशीन लर्निंग में करियर सोच रहे हैं, तो attention मैकेनिज्म और KV cache ऑप्टिमाइज़ेशन समझना आपके लिए सीना ठोक के आगे बढ़ने का रास्ता है। पेपर arXiv पर खुला है — कोई भी इसे मुफ्त में पढ़ सकता है।
सीमाएं भी जान लो — ईमानदारी से
भौकाल के साथ-साथ सच्चाई भी जरूरी है। पहली बात — यह एक प्रीप्रिंट पेपर है, अभी peer-reviewed नहीं हुआ है, इसलिए इसके नतीजे लेखकों के अपने प्रयोगों पर आधारित हैं। दूसरी बात — सारे प्रयोग सिर्फ एक ही 4B पैरामीटर वाले मॉडल (Qwen3-4B) पर हुए हैं, बड़े मॉडल पर इसका प्रदर्शन अभी जांचा जाना बाकी है। तीसरी बात — बेंचमार्क ज़्यादातर सिंथेटिक लंबे-कॉन्टेक्स्ट टास्क पर आधारित हैं, और 10 लाख टोकन से ऊपर सैंपल की संख्या सिर्फ 16 तक घट जाती है। छोटे टास्क पर इसके नतीजे हर जगह बेहतर भी नहीं थे। इसलिए RecSA को किसी चमत्कार की तरह नहीं, बल्कि लंबा कॉन्टेक्स्ट सस्ता बनाने की दिशा में एक बड़ी और होशियार छलांग की तरह देखना चाहिए।
निष्कर्ष
RecSA ने साबित कर दिया है कि AI को लंबा याद रखने के लिए लंबी ट्रेनिंग या महंगा हार्डवेयर नहीं चाहिए — सही संरचना ही काफी है। 32,000 टोकन की ट्रेनिंग से 20 लाख टोकन तक का फैलाव, 1M पर 60.5 का RULER स्कोर और एक GPU पर 3.8 गुना तेज़ decoding — ये आंकड़े खुद बताते हैं कि यह कोई छोटी खबर नहीं है। अगर यह तरीका बड़े मॉडल और असली दुनिया के टास्क पर भी खरा उतरता है, तो आने वाले सालों में AI चैटबॉट की याददाश्त और रफ्तार दोनों की कहानी ही बदल जाएगी — और लंबी किताब पढ़ने वाला AI अब हर किसी की पहुंच में होगा।
पिछला लेख पढ़ें:
Path Robotics को $300M, वेल्डिंग रोबोट का धमाका!
RecSA के बारे में आधिकारिक जानकारी यहां पढ़ें: arXiv — Recursive Sparse Attention: Million-Token Length Extrapolation at Logarithmic Cost
