अरे भाई सुनो, मार्केट में एकदम गदर मच गया है। अब AI एजेंट को आपके कंप्यूटर की स्क्रीन देखने के लिए स्क्रीनशॉट की जरूरत नहीं पड़ेगी। Vercel Labs ने agent-desktop नाम का एक ओपन-सोर्स टूल सार्वजनिक किया है, जो AI एजेंट को सीधे आपके कंप्यूटर के असली ऐप्स चलाने की ताकत देता है। सीधी बात नो बकवास, यह वह जुगाड़ है जो कोडिंग एजेंट्स को स्क्रीन पर अंदाज़ा लगाने की बजाय बटन, मेन्यू और फील्ड का असली नक्शा थमा देता है।
इसका सबसे बड़ा धमाका यह है कि यह टूल खुद कोई AI एजेंट नहीं है। इसमें न कोई लैंग्वेज मॉडल छिपा है, न कोई ग्राफिकल इंटरफेस है और न यह खुद सोचकर फैसला लेता है। यह एक ऐसा औज़ार है जिसे आपका कोडिंग एजेंट बुलाता है, और यही वजह है कि यह किसी एक कंपनी के मॉडल से बंधा नहीं है। जो एजेंट टर्मिनल कमांड चला सकता है, वह इस टूल से डेस्कटॉप ऐप्स भी चला सकता है।
agent-desktop आखिर है क्या?
agent-desktop, Vercel Labs का Rust से बना कमांड-लाइन टूल और C लाइब्रेरी है। यह macOS, Windows और Linux तीनों पर चलता है। इसका काम है डेस्कटॉप ऐप्स को ऑपरेटिंग सिस्टम के accessibility tree के ज़रिए पढ़ना और चलाना। Accessibility tree वही स्ट्रक्चर्ड जानकारी है जिस पर स्क्रीन रीडर भी भरोसा करते हैं, यानी हर बटन, फील्ड और मेन्यू की साफ-सुथरी पहचान।
इसका लूप बेहद सीधा है: पहले snapshot लो, फिर उसमें मिले ref पर एक्शन लो, फिर दोबारा snapshot लेकर जांचो कि काम हुआ या नहीं। हर कमांड एक JSON envelope लौटाता है और खत्म हो जाता है। एजेंट को स्क्रीन की तस्वीर देखकर पिक्सल का अंदाज़ा नहीं लगाना पड़ता, बल्कि हर एलिमेंट को एक स्थिर ref मिलता है। अगर UI बदल जाए तो पुराना ref बासी हो जाता है, तब एजेंट नया snapshot लेकर ताज़ा ref इस्तेमाल करता है। यही सिस्टम इसे पिक्सल वाले तरीकों से ज़्यादा भरोसेमंद बनाता है।
30 अक्टूबर 2026 को क्या सार्वजनिक हुआ?
30 अक्टूबर 2026 को agent-desktop का वर्शन 1.0.2 सार्वजनिक हुआ, और उसी दिन देर रात Vercel Labs की टीम ने इसे सोशल मीडिया पर सबके सामने पेश किया। यह प्रोजेक्ट Apache-2.0 लाइसेंस के तहत ओपन-सोर्स है, यानी कोई भी इसका कोड देख सकता है, इस्तेमाल कर सकता है और अपने प्रोजेक्ट में ढाल सकता है। GitHub पर यह रिपॉजिटरी vercel-labs/agent-desktop नाम से मौजूद है, जो फरवरी 2026 में बनाई गई थी और अब सार्वजनिक चर्चा में आ गई है।
यहां एक बात साफ रखना ज़रूरी है: कुछ रिपोर्ट्स में वर्शन 1.0.0 के npm पर 28 अक्टूबर को आने का भी ज़िक्र है, लेकिन इस लेख का दावा सिर्फ इतना है कि 30 अक्टूबर को 1.0.2 सार्वजनिक हुआ और उसी दिन इसका व्यापक ऐलान हुआ। न कोई कीमत घोषित हुई है, न कोई पेड प्लान, क्योंकि यह ओपन-सोर्स टूल है, कोई सब्सक्रिप्शन प्रोडक्ट नहीं।
बिना स्क्रीनशॉट वाला जादू कैसे काम करता है?
पुराने computer-use सिस्टम एजेंट को स्क्रीनशॉट दिखाते थे और विज़न मॉडल से पूछते थे कि कहां क्लिक करना है। इसमें दो दिक्कतें थीं: तस्वीर भारी होती थी और क्लिक की जगह का अंदाज़ा गलत भी हो सकता था। agent-desktop इस पूरी प्रक्रिया को पलट देता है। यह ऑपरेटिंग सिस्टम के accessibility API से सीधे पूछता है कि स्क्रीन पर क्या-क्या है।
तीनों ऑपरेटिंग सिस्टम पर अलग-अलग रास्ता, एक ही तरीका
macOS पर यह AX API से बात करता है, Windows पर UI Automation से और Linux पर AT-SPI से। हर प्लेटफॉर्म के लिए अलग crate बनता है, लेकिन कोर लॉजिक एक ही रहता है। डिफॉल्ट रूप से यह headless चलता है, यानी ref वाले एक्शन accessibility API के ज़रिए होते हैं, बिना माउस पॉइंटर हिलाए और बिना ऐप को फोकस छीने। अगर सच में फिज़िकल इनपुट चाहिए तो –headed फ्लैग मौजूद है।
घने ऐप्स में टोकन की बचत का दावा, पर सावधानी के साथ
बनाने वालों का दावा है कि घने ऐप्स में skeleton traversal से टोकन 78 से 96 प्रतिशत तक कम हो जाते हैं। लेकिन सीधी बात यह है कि यह आंकड़ा बनाने वालों का अपना बताया हुआ है, कोई स्वतंत्र बेंचमार्क नहीं। अभी तक computer-use टेस्ट पर इसकी कोई सार्वजनिक स्वतंत्र तुलना सामने नहीं आई है। इसलिए इस आंकड़े को वादे की तरह नहीं, बल्कि बनाने वालों के दावे की तरह पढ़िए।
agent-desktop बनाम पुराने तरीके: तुलना तालिका
| पहलू | agent-desktop | स्क्रीनशॉट वाला computer use | agent-browser (वेब के लिए) |
|---|---|---|---|
| स्क्रीन को कैसे देखता है | OS accessibility tree | स्क्रीनशॉट + विज़न मॉडल | ब्राउज़र का accessibility tree |
| क्लिक का तरीका | स्थिर ref पर एक्शन | पिक्सल कोऑर्डिनेट का अंदाज़ा | एलिमेंट ref पर एक्शन |
| किस पर चलता है | macOS, Windows, Linux डेस्कटॉप ऐप्स | कोई भी दिखने वाली स्क्रीन | सिर्फ वेब पेज |
| मॉडल अंदर है? | नहीं, कोई LLM नहीं | आमतौर पर विज़न मॉडल ज़रूरी | नहीं, टूल मात्र |
| लाइसेंस | Apache-2.0 ओपन-सोर्स | अक्सर प्रॉपराइटरी API | ओपन-सोर्स Vercel Labs टूल |
| सबसे बड़ी सीमा | बिना accessibility tree वाला ऐप नहीं चलेगा | महंगा और गलत क्लिक का खतरा | वेब से बाहर काम नहीं करता |
इंस्टॉल और पहला रन: स्टेप-बाय-स्टेप
इंस्टॉल करना एक कमांड का काम है, लेकिन हर OS पर परमिशन की शर्त अलग है। नीचे दिए गए स्टेप्स आधिकारिक README पर आधारित हैं।
- npm से इंस्टॉल करें:
npm install -g agent-desktopचलाएं। Bun, Yarn और pnpm से भी यही पैकेज इंस्टॉल हो जाता है, जिसमें x64 और ARM64 दोनों के नेटिव बाइनरी शामिल हैं। - वर्शन जांचें:
agent-desktop versionचलाकर देखें कि इंस्टॉल सही हुआ है या नहीं। - macOS पर परमिशन दें:
agent-desktop permissions --guideचलाएं और Accessibility परमिशन दें, क्योंकि बिना इसके टूल ऐप्स को पढ़ नहीं पाएगा। - Windows पर ध्यान रखें: अपने टर्मिनल के integrity level वाले ऐप्स के लिए अलग से कोई परमिशन नहीं चाहिए।
- Linux पर शर्त पूरी करें: ग्राफिकल सेशन में
at-spi2-coreमौजूद होना चाहिए, तभी AT-SPI के ज़रिए ऐप्स पढ़े जाएंगे। - ऐप्स की लिस्ट देखें:
agent-desktop list-appsसे पता करें कि कौन-कौन से ऐप्स दिख रहे हैं। - पहला snapshot लें: macOS पर उदाहरण के तौर पर
agent-desktop snapshot --app Finder -iचलाएं, जिसमें हर इंटरैक्टिव एलिमेंट के साथ उसका ref मिलेगा। - ref पर एक्शन लें: snapshot में मिले ref पर
agent-desktop click @s8f3k2p9:e8जैसा कमांड चलाएं। ध्यान रहे, ref उसी snapshot का होना चाहिए, पुराना ref बासी माना जाएगा। - दोबारा snapshot लेकर जांचें: एक्शन के बाद फिर snapshot लें और पक्का करें कि बदलाव सच में हुआ है। यही observe, act, verify लूप इस टूल की जान है।
- एजेंट को इसका हुनर सिखाएं:
agent-desktop skills get desktopऔरagent-desktop skills get platformचलाकर एजेंट को इस टूल के नियम और अपने OS की खासियतें पढ़वाएं।
60 कमांड, पर 4 अभी अधूरे क्यों?
आधिकारिक README के मुताबिक agent-desktop में 60 कमांड नाम हैं, जिनमें से 56 पूरी तरह काम करते हैं। बाकी 4 कमांड, key-down, key-up, mouse-down और mouse-up, तब तक चलने से इनकार करते हैं जब तक कोई daemon दबाई हुई key या बटन को छोड़ने का इंतज़ाम न कर दे। यह कोई बग नहीं, बल्कि सुरक्षा का फैसला है, ताकि कोई key या बटन बीच में अटकी न रह जाए।
कमांड्स को समूहों में बांटा गया है: देखने के लिए snapshot, find, get, is, screenshot और list-surfaces; ref पर एक्शन के लिए click, type, set-value, scroll जैसे कमांड; ऐप और विंडो संभालने के लिए launch, list-apps, focus-window; नोटिफिकेशन, क्लिपबोर्ड, wait, session और system कमांड भी शामिल हैं। घने ऐप्स के लिए पहले skeleton snapshot लेकर नक्शा बनाना और फिर किसी एक हिस्से में गहराई से जाना, यह तरीका README में ही सुझाया गया है।
डेवलपर्स के लिए C लाइब्रेरी भी
जो डेवलपर हर बार CLI नहीं चलाना चाहते, उनके लिए libagent_desktop_ffi नाम की C लाइब्रेरी भी है। इससे Python, Swift, Go, Ruby और Node जैसे प्रोग्राम टूल को सीधे अपने प्रोसेस में बुला सकते हैं। Electron ऐप्स के लिए launch –cdp के ज़रिए DevTools पोर्ट खोलकर agent-browser वाला रास्ता भी बताया गया है, क्योंकि वेब पेजों के लिए agent-browser ही सही टूल रहता है, agent-desktop नहीं।
आम जनता और भारतीय युवाओं के लिए क्यों है खास?
अगर आप अब भी वही पुराने घिसे-पिटे तरीके अपना रहे हैं, तो संभल जाइए, क्योंकि कोडिंग एजेंट्स का खेल अब स्क्रीन पर अंदाज़ा लगाने से आगे बढ़ चुका है। भारतीय युवाओं के लिए इसका मतलब सीधा है: फ्रीलांसर और जूनियर डेवलपर अब अपने एजेंट को सिर्फ कोड लिखने तक सीमित नहीं रखेंगे, बल्कि टेस्टिंग, फॉर्म भरना, फाइलें संभालना और रोज़ के दोहराए जाने वाले डेस्कटॉप काम भी सौंप सकेंगे। ओपन-सोर्स और Apache-2.0 लाइसेंस होने से स्टूडेंट्स और छोटे स्टार्टअप्स को इसे आज़माने के लिए कोई कीमत नहीं चुकानी पड़ेगी।
लेकिन गजब का भौकाल तभी काम आएगा जब सावधानी भी साथ हो। README खुद चेतावनी देता है कि snapshot, क्लिपबोर्ड, स्क्रीनशॉट और कमांड आउटपुट में आपके डेस्कटॉप की निजी जानकारी आ सकती है, इसलिए इन्हें पब्लिक लॉग या अपलोड में कभी नहीं डालना चाहिए। और एक सख्त सीमा भी है: जिस ऐप ने अपना accessibility tree ही नहीं बनाया, वह इस टूल की पहुंच से बाहर रहेगा। यानी यह जादू की छड़ी नहीं, बल्कि सही बने हुए ऐप्स के लिए एक तगड़ा जुगाड़ है।
निष्कर्ष
Vercel Labs का agent-desktop कोडिंग एजेंट्स की दुनिया में एक साफ और ईमानदार कदम है। यह स्क्रीनशॉट के अंदाज़े को हटाकर accessibility tree की सटीकता लाता है, किसी एक मॉडल से बंधता नहीं और ओपन-सोर्स होने से हर डेवलपर के हाथ में है। 30 अक्टूबर 2026 को 1.0.2 का सार्वजनिक होना इस बात का संकेत है कि डेस्कटॉप ऑटोमेशन अब प्रयोगशाला से निकलकर असली डेवलपर्स के टर्मिनल तक पहुंच रहा है। बस टोकन बचत जैसे दावों को स्वतंत्र जांच के बिना अंतिम सच मत मानिए, और निजी डेटा वाली जानकारी को कभी पब्लिक मत कीजिए। सीना ठोक के कह सकते हैं कि जो डेवलपर एजेंट्स के साथ काम करता है, उसे यह टूल एक बार ज़रूर आज़माना चाहिए।
पिछला लेख पढ़ें:
TRAI का AI ड्राफ्ट आया: टेलीकॉम कंपनियों पर कड़ी नजर!
आधिकारिक जानकारी के लिए देखें: Vercel Labs agent-desktop GitHub रिपॉजिटरी
