अरे भाई सुनो, AI की दुनिया में एकदम गदर मच गया है। Salesforce AI Research के वैज्ञानिकों ने ऐसा जुगाड़ खोज निकाला है जिससे AI मॉडल को ट्रेन करने का खर्च 42% तक कम हो जाता है, और मॉडल की अक्ल में कोई कमी भी नहीं आती। सीधी बात नो बकवास, ये रिसर्च उन सबके लिए बड़ी खबर है जो सोचते हैं कि बड़ा AI मॉडल बनाना सिर्फ अरबों डॉलर वाली कंपनियों के बस की बात है।
पेपर का नाम है “Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO” और इसे 5 नवंबर 2026 को arXiv पर पब्लिश किया गया। Salesforce के 10 रिसर्चरों की टीम ने इसमें साबित किया है कि अलग-अलग कामों के माहिर AI एक्सपर्ट्स को एक ही मॉडल में मिला दिया जाए, तो ट्रेनिंग का कंप्यूट खर्च लगभग आधा हो जाता है।
क्या है ये रिसर्च, सीधे शब्दों में समझो
AI मॉडल को स्मार्ट बनाने के दो मशहूर तरीके हैं। पहला है Reinforcement Learning, जिसे इस पेपर में GRPO कहा गया है, यानी मॉडल खुद ट्राई करके, गलती करके और इनाम पाकर सीखता है। दूसरा है On-Policy Distillation यानी OPD, जिसमें एक बड़ा टीचर मॉडल छोटे स्टूडेंट मॉडल को सिखाता है।
अब तक सब यही मानते थे कि बड़ा टीचर ही छोटा मॉडल बनाएगा। लेकिन Salesforce की टीम ने पाया कि बाहरी बड़े टीचर से सिखाना अक्सर GRPO से महंगा पड़ता है, और कई बार मॉडल के जवाब बेवजह लंबे भी हो जाते हैं। असली भौकाल तब मचा जब उन्होंने एक अलग चाल चली, हर डोमेन का अलग एक्सपर्ट बनाओ, फिर उन सबकी अक्ल एक ही स्टूडेंट में समेट दो।
एक्सपर्ट मिलाने वाला जुगाड़ कैसे काम करता है
सोचो, गणित का एक उस्ताद है और कोडिंग का दूसरा उस्ताद है। दोनों ने अलग-अलग GRPO ट्रेनिंग से अपनी-अपनी महारत हासिल की। अब Multi-Teacher OPD तरीके से दोनों उस्तादों की जानकारी एक ही स्टूडेंट मॉडल में डाल दी जाती है। नतीजा, स्टूडेंट दोनों कामों में उतना ही अच्छा जितने उसके उस्ताद थे।
पेपर के मुताबिक, इस डिस्टिलेशन वाले चरण की लागत सिर्फ 5.2% रही जब 2 डोमेन मिलाए गए, और 8.0% रही जब 4 डोमेन मिलाए गए, यानी उस्तादों की ट्रेनिंग के मुकाबले लगभग कुछ भी नहीं। और जब पूरी पाइपलाइन का हिसाब लगाया गया, तो 2 डोमेन के मिक्स पर जॉइंट GRPO के बराबर परफॉर्मेंस 42.0% कम टोटल कंप्यूट में मिल गई।
खुद का टीचर बनना, 50 गुना सस्ता सौदा
पेपर का दूसरा धमाकेदार नतीजा और भी गजब का है। जब टीचर कोई बाहरी बड़ा मॉडल नहीं, बल्कि स्टूडेंट का ही अपना GRPO चेकपॉइंट था, तो OPD ने गणित में उसी एक्यूरेसी को 50 गुना कम डिस्टिलेशन FLOPs में हासिल कर लिया, जितना GRPO को उस एक्यूरेसी तक पहुंचने में लगा था। मतलब, मॉडल खुद से सीखकर खुद को ही सस्ते में और तेज़ बना सकता है।
लेकिन एक चेतावनी भी है। एक ही डोमेन में GRPO चेकपॉइंट ही फाइनल मॉडल होता है, तो उसे दोबारा डिस्टिल करना कुल कंप्यूट बढ़ा देता है। ये जुगाड़ तब कमाल करता है जब कई डोमेन के अलग-अलग एक्सपर्ट हों और कोई एक चेकपॉइंट हर काम न कर सके।
तुलना: कौन सा तरीका कितना भारी, कितना सस्ता
| ट्रेनिंग का तरीका | कंप्यूट खर्च | नतीजा |
|---|---|---|
| जॉइंट GRPO (सब एक साथ) | बेसलाइन, 100% | मजबूत, लेकिन सबसे महंगा |
| Multi-Teacher OPD (एक्सपर्ट मिलाकर) | 42.0% कम टोटल FLOPs | जॉइंट GRPO के बराबर परफॉर्मेंस |
| बाहरी बड़े टीचर से OPD | GRPO से ज्यादा प्रति एक्यूरेसी | अक्सर हारता है, जवाब लंबे हो जाते हैं |
| खुद के चेकपॉइंट से OPD | 50 गुना कम डिस्टिलेशन FLOPs | गणित में वही एक्यूरेसी, सस्ते में |
पेपर के प्रयोगों में क्या-क्या था
रिसर्चरों ने Qwen3 फैमिली के 8 अरब पैरामीटर तक के स्टूडेंट मॉडल और एक Olmo-3 मॉडल पर प्रयोग किए। डोमेन थे गणित और कोडिंग। कोडिंग के प्रयोग में पेपर की रिपोर्ट के मुताबिक, GRPO ने 0.6 EFLOP में 46.4% स्कोर किया, जबकि 32 अरब पैरामीटर वाले बड़े टीचर से डिस्टिलेशन 68.7 EFLOP खर्च करके भी सिर्फ 28.7% पर अटका। यानी बड़ा टीचर हर बार बेहतर टीचर नहीं होता, ये इस पेपर की सबसे बड़ी सीख है।
एक और बात साफ कर दें। ये पेपर अभी प्रीप्रिंट है, यानी इसकी पीयर रिव्यू नहीं हुई है। इसमें डॉलर में लागत नहीं बताई गई है, सिर्फ FLOPs यानी कंप्यूट की गिनती है। प्रोडक्शन ट्रेनिंग के सारे खर्च FLOPs में नहीं समाते, इसलिए 42% की बचत को लैब के नतीजे के तौर पर ही पढ़ना चाहिए।
आम जनता और भारतीय युवाओं के लिए क्यों है खास?
भारत में हजारों युवा AI सीख रहे हैं, छोटे स्टार्टअप बना रहे हैं और फ्रीलांस AI काम कर रहे हैं। उनके लिए सबसे बड़ी दीवार है GPU का खर्च। अगर ट्रेनिंग 42% सस्ती हो जाए, तो छोटे टीम और इंडी डेवलपर भी अपने डोमेन के माहिर मॉडल बना सकेंगे। कॉलेज के स्टूडेंट्स अपने लैपटॉप और किराए के छोटे GPU पर ऐसे प्रयोग कर सकेंगे जो पहले सिर्फ बड़ी कंपनियों के बस में थे।
दूसरी बात, भारत के लिए मल्टी-डोमेन एक्सपर्ट वाला आइडिया सोने पर सुहागा है। हिंदी का एक्सपर्ट, कोडिंग का एक्सपर्ट, गणित का एक्सपर्ट, सबको मिलाकर एक ही देसी मॉडल बनाना अब सस्ता रास्ता बन सकता है। और जो युवा AI रिसर्च में करियर बनाना चाहते हैं, उनके लिए OPD और GRPO जैसे तरीके सीखना अब सीधे नौकरी और फ्रीलांस काम से जुड़ गया है।
इस रिसर्च को खुद कैसे पढ़ें
- arXiv पर पेपर नंबर 2611.08453 खोलें, टाइटल है “Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO”।
- पहले Abstract पढ़ें, उसमें 42.0% और 50 गुना वाले दोनों नतीजे साफ लिखे हैं।
- फिर पेपर के टेबल और फिगर देखें, जहां 2 डोमेन और 4 डोमेन के FLOPs का हिसाब दिया है।
- अगर कोडिंग में दिलचस्पी है, तो Qwen3 और Olmo-3 पर हुए प्रयोगों वाला सेक्शन पढ़ें।
- ध्यान रखें कि ये प्रीप्रिंट है, इसलिए नतीजों को पीयर रिव्यू का इंतज़ार है।
निष्कर्ष
Salesforce AI Research का ये पेपर AI ट्रेनिंग की सोच ही बदल देता है। बड़ा टीचर लाकर छोटे मॉडल को सिखाना हमेशा सही नहीं होता, असली बचत तब होती है जब हर काम का माहिर एक्सपर्ट अलग से तैयार करके सबकी अक्ल एक ही मॉडल में समेट दी जाए। 42% कम कंप्यूट, 50 गुना सस्ता सेल्फ-डिस्टिलेशन और वही परफॉर्मेंस, ये आंकड़े बताते हैं कि आने वाले दिनों में AI बनाना सस्ता होगा और छोटे खिलाड़ियों के लिए भी दरवाज़े खुलेंगे। भारतीय युवाओं के लिए ये सिर्फ एक पेपर नहीं, एक मौका है।
पिछला लेख पढ़ें: Traversal को $120M: AI अब खुद ठीक करेगा सॉफ्टवेयर!
आधिकारिक स्रोत: arXiv पर Salesforce AI Research का पेपर 2611.08453
