Meet OpenMythos: 770M Parameters वाला AI मॉडल जो 1.3B Transformer को टक्कर देता है

By Arpita Dolui Apr 22, 2026 0

WhatsApp Channel Join Now

Telegram Channel Join Now

आज के समय में Artificial Intelligence (AI) और Deep Learning तेजी से विकसित हो रहे हैं। बड़े-बड़े मॉडल जैसे Transformer आधारित AI सिस्टम (जैसे GPT, LLaMA आदि) लगातार अधिक शक्तिशाली बन रहे हैं, लेकिन इसके साथ उनकी लागत (cost) और कम्प्यूटेशनल जरूरतें (compute requirements) भी बढ़ती जा रही हैं। इसी चुनौती का समाधान खोजने के लिए एक नया और दिलचस्प प्रोजेक्ट सामने आया है — OpenMythos।

यह एक open-source PyTorch आधारित प्रोजेक्ट है, जिसका उद्देश्य Anthropic के Claude Mythos मॉडल की संभावित आर्किटेक्चर को पुनःनिर्मित (reconstruct) करना है। खास बात यह है कि यह मॉडल केवल 770 मिलियन (770M) parameters के साथ काम करते हुए 1.3 बिलियन (1.3B) parameter वाले Transformer के बराबर प्रदर्शन करने का दावा करता है।

इस लेख में हम OpenMythos को सरल हिंदी में समझेंगे और जानेंगे कि यह AI की दुनिया में क्यों इतना महत्वपूर्ण है।

OpenMythos ओपन सोर्स PyTorch मॉडल जो 770M parameters में 1.3B transformer जैसी performance दिखाता है — OpenMythos: 770M parameters में 1.3B transformer जैसी पावर देने वाला स्मार्ट AI आर्किटेक्चर

OpenMythos क्या है?

OpenMythos एक ओपन-सोर्स रिसर्च प्रोजेक्ट है, जिसे GitHub पर डेवलपर Kye Gomez द्वारा रिलीज़ किया गया है। यह कोई लीक हुआ मॉडल या trained weights नहीं है, बल्कि एक theoretical hypothesis (सैद्धांतिक अनुमान) है जिसे कोड के रूप में प्रस्तुत किया गया है।

इसका मुख्य उद्देश्य यह समझना है कि Claude Mythos जैसे advanced AI मॉडल की आर्किटेक्चर कैसी हो सकती है, क्योंकि Anthropic ने अभी तक इसकी आधिकारिक जानकारी साझा नहीं की है।

OpenMythos की मुख्य विशेषताएँ

1. Recurrent-Depth Transformer (RDT)

OpenMythos का सबसे बड़ा innovation है इसका Recurrent-Depth Transformer (RDT) आर्किटेक्चर।

सामान्य Transformer मॉडल में:

हर layer अलग होती है
हर layer के अपने अलग parameters होते हैं

लेकिन RDT में:

एक ही layer (या block) को बार-बार loop में चलाया जाता है
यानी same weights को multiple बार reuse किया जाता है

इससे क्या फायदा?

कम parameters में ज्यादा reasoning depth
बेहतर efficiency

2. Loop-based Reasoning (Iterative Thinking)

RDT architecture में मॉडल एक ही computation को कई बार दोहराता है। इसे ऐसे समझ सकते हैं:

जैसे कोई छात्र एक सवाल को बार-बार सोचकर बेहतर जवाब निकालता है।

इस प्रक्रिया में:

मॉडल हर iteration में अपने internal state को सुधारता है
बिना नए parameters जोड़े deep reasoning करता है

3. Architecture Structure

OpenMythos तीन मुख्य भागों में काम करता है:

Prelude – Input को encode करता है
Recurrent Block – बार-बार loop होकर reasoning करता है
Coda – Final output generate करता है

यह structure इसे traditional transformer से अलग बनाता है।

4. Mixture-of-Experts (MoE)

OpenMythos में Mixture-of-Experts (MoE) तकनीक का उपयोग किया गया है।

इसमें:

कई छोटे-छोटे “experts” होते हैं
हर input के लिए कुछ चुनिंदा experts activate होते हैं

फायदे:

बेहतर performance
कम computation
scalable architecture

5. Adaptive Computation Time (ACT)

OpenMythos में एक smart mechanism है जो तय करता है कि:

किस input को ज्यादा processing चाहिए
किसे कम

इससे:

आसान tasks जल्दी solve हो जाते हैं
कठिन tasks के लिए ज्यादा loops चलाए जाते हैं

770M vs 1.3B: Parameter Efficiency का जादू

OpenMythos का सबसे बड़ा दावा यही है कि:

770M parameters वाला मॉडल = 1.3B transformer के बराबर performance

यह कैसे संभव है?

कारण:

Weight sharing (same weights reuse करना)
Loop-based reasoning
MoE optimization

इससे:

memory usage कम होता है
training cost घटती है
inference fast होता है

Traditional Transformer vs OpenMythos

Feature	Traditional Transformer	OpenMythos
Layers	Fixed और अलग-अलग	Same layer बार-बार
Parameters	ज्यादा	कम
Reasoning	Limited	Deep (loop-based)
Efficiency	कम	ज्यादा
Compute scaling	Training में	Inference में