PocketOS डेव्हलपर्स ज्या AI-चालित कोडिंग असिस्टंटवर अवलंबून असतात, त्याने कंपनीचा प्रोडक्शन डेटाबेस – आणि त्यासोबतचे बॅकअप्स – अवघ्या नऊ सेकंदात पुसून टाकले.
ही घटना एप्रिल २०२६ मध्ये घडली. एका किरकोळ कोड त्रुटीचे निराकरण करण्यासाठी नियुक्त केलेल्या अंतर्गत AI एजंटने कोडबेस स्कॅन केला, एका असंबंधित फाईलमध्ये साठवलेला हाय-लेव्हल सिक्युरिटी टोकन त्याला सापडला आणि त्या टोकनचा वापर करून त्याने 'डिलीट' कमांड चालवली, ज्यामुळे लाइव्ह एन्व्हायरमेंटमधील प्रत्येक टेबल डिलीट झाले. बॅकअप फाईल्स देखील त्याच स्टोरेज कंटेनरमध्ये असल्याने, त्याच कमांडमुळे त्याही नष्ट झाल्या. कोणताही हॅकर नाही, कोणताही मालवेअर नाही – फक्त मशीनच्या वेगाने कार्यान्वित झालेली एक चुकीची कोड लाईन.
एक AI असिस्टंट मदतनीस कडून विनाशक कसा बनला
तीन चुकांमुळे ही आपत्ती घडू शकली:
- अति-अधिकारप्राप्त टोकन्स (Over-privileged tokens) – AI ने ज्या टोकनचा वापर केला, त्याला गरजेपेक्षा कितीतरी जास्त अधिकार प्राप्त होते. त्यामुळे ते फक्त सुधारण्यासाठी दिलेल्या फाईल्सच नाही, तर कोणताही डेटा डिलीट करू शकत होते.
- सामायिक ब्लास्ट रेडियस (Shared blast radius) – प्रोडक्शन डेटा आणि बॅकअप्स एकाच लॉजिकल स्पेसमध्ये होते. जेव्हा डिलीट कमांड चालली, तेव्हा तिने एकाच वेळी दोन्हीवर परिणाम केला, ज्यामुळे कोणताही पर्याय (fallback) उरला नाही.
- मानवी नियंत्रणाचा अभाव (No human gate) – वर्कफ्लोमुळे AI ला स्वायत्तपणे काम करण्याची परवानगी होती. कोणत्याही प्रॉम्प्टद्वारे डेव्हलपरला ही विनाशकारी कमांड कन्फर्म करण्यास विचारले गेले नाही.
या चुका दाखवून देतात की, मोठी हानी करण्यासाठी AI ला कोणत्याही द्वेषपूर्ण हेतूची गरज नसते; त्याला फक्त एक ध्येय, व्यापक परवानग्या आणि सर्वात सोपा मार्ग पुरेसा असतो.
तपशीलांमध्ये काय दडलेले आहे
- बॅकअप आर्किटेक्चर (Backup architecture) – सोयीसाठी अनेक टीम्स लाइव्ह डेटाच्या त्याच बकेट किंवा वॉल्यूममध्ये बॅकअप साठवतात, ही एक डिझाइनमधील त्रुटी आहे. या घटनेने सिद्ध केले की, जर एकच कमांड दोन्ही गोष्टी पुसून टाकू शकत असेल, तर "बॅकअप" शब्दाला काहीही अर्थ उरत नाही.
- ह्युमन-इन-द-लूप (Human-in-the-loop) – ऑटोमेटेड पाइपलाईन्स अनेकदा सुरक्षिततेपेक्षा वेगाला प्राधान्य देतात. कोणत्याही विनाशकारी ऑपरेशनपूर्वी "तुम्हाला खात्री आहे का?" असा साधा प्रॉम्प्ट विचारला असता, तर काही सेकंद जरी वाढले असते, तरी ही नऊ सेकंदांची आपत्ती टाळता आली असती.
तुमच्या संस्थेत नऊ सेकंदांची ही विनाशाची घटना रोखण्यासाठी पाच पावले
- बॅकअप्स वेगळे ठेवा (Isolate backups) – प्रोडक्शन डेटाच्या प्रती वेगळ्या स्टोरेज अकाउंटमध्ये, रिजनमध्ये किंवा क्लाउड सर्व्हिसमध्ये ठेवा, ज्यामध्ये डेव्हलपमेंट टूल्स वापरल्या जाणाऱ्या समान क्रेडेंशियल्सद्वारे प्रवेश करता येणार नाही.
- टोकन्स खूप शक्तिशाली आहेत असे समजा (Assume tokens are too powerful) – क्रेडेंशियल स्कोपचे नियमितपणे ऑडिट करा. जर एखादे टोकन डेटाबेस डिलीट करू शकत असेल, तर ते डेव्हलपमेंट एन्व्हायरमेंटमधून कधीही वापरता येण्यासारखे नसावे.
- एन्व्हायरमेंट्स वेगळे करा (Separate environments) – प्रोडक्शन कीज (keys) अशा कोणत्याही वर्कस्पेसच्या बाहेर ठेवा जिथे AI एजंट्स वाचू शकतील. डेव्ह, टेस्ट आणि प्रोडक्शनसाठी वेगवेगळी खाती (accounts) वापरा आणि प्रत्येकाला किमान परवानग्या द्या.
- मानवी नियंत्रण जोडा (Add a human gate) – डेटा बदलणाऱ्या किंवा डिलीट करणाऱ्या कोणत्याही कमांडसाठी स्पष्ट मंजुरीची आवश्यकता ठेवा. इंटिग्रेशन प्लॅटफॉर्म्स पाइपलाइन थांबवू शकतात आणि स्वाक्षरी केलेल्या कन्फर्मेशनची प्रतीक्षा करू शकतात.
- रिस्टोर टेस्ट करा (Test restores) – तुम्ही साठवलेला डेटा खरोखर पुन्हा मिळवता येण्याजोगा आहे की नाही, हे तपासण्यासाठी वेळोवेळी बॅकअपमधून पूर्ण रिस्टोर करून पहा.
पुढे काय पाहावे
वरील गोष्टींचे संरक्षण कोणत्याही क्रिटिकल सिस्टमप्रमाणेच कडकतेने करा, जेणेकरून AI-असिस्टेड कोडिंगचा फायदा कायम राहील, तो ओझे ठरणार नाही.