તમે એક ઈમેલ સાથે જાગો છો જેમાં લખ્યું છે કે તમારું Discord એકાઉન્ટ જતું રહ્યું છે. કાયમી ધોરણે. કારણ? તમે સ્પ્રેડશીટનો સ્ક્રીનશોટ શેર કર્યો હતો, ચેસબોર્ડનો ફોટો પોસ્ટ કર્યો હતો, અથવા પારદર્શક (transparent) બેકગ્રાઉન્ડ ધરાવતી કોઈ એસેટ અપલોડ કરી હતી. મે મહિનાથી 8,000 થી વધુ લોકો માટે, આ કોઈ દુઃસ્વપ્ન નહીં પણ વાસ્તવિક સવાર હતી. Discord એ ત્યારથી એ વાતની પુષ્ટિ કરી છે જેનો અસરગ્રસ્ત વપરાશકર્તાઓ શંકા કરી રહ્યા હતા: પ્લેટફોર્મના ઓટોમેટેડ સેફ્ટી સિસ્ટમમાં રહેલી એક ગંભીર ભૂલ (bug) સંપૂર્ણપણે નિર્દોષ છબીઓને ગેરકાયદેસર સામગ્રી તરીકે ઓળખી રહી હતી, અને પછી જે લોકોએ તેને અપલોડ કરી હતી તેમને કાયમી ધોરણે પ્રતિબંધિત (ban) કરી રહી હતી.
બગ (Bug) અને ખૂટતું માનવીય નિરીક્ષણ
મોટા પાયે Discord નું કન્ટેન્ટ મોડરેશન, અપલોડ કરેલી છબીઓને જાણીતી હાનિકારક સામગ્રીના ડેટાબેઝ સાથે મેળવવા માટે ઓટોમેટેડ સ્કેનિંગ પર આધાર રાખે છે. સામાન્ય સંજોગોમાં, જ્યારે સિસ્ટમ સંભવિત મેચ શોધી કાઢે છે, ત્યારે કોઈ પણ ગંભીર પગલા લેતા પહેલા તે માનવીય મોડરેટર દ્વારા સમીક્ષા કરવા માટે ફ્લેગ (flag) કરે છે. તે માનવીય ચેકપોઈન્ટ એટલા માટે જ અસ્તિત્વમાં છે કારણ કે ઓટોમેટેડ સિસ્ટમો ભૂલો કરે છે. સંદર્ભ (Context) મહત્વનો છે. મશીન એક દૂષિત છબી અને એક નિર્દોષ ફાઇલ વચ્ચેનો તફાવત જાણી શકતું નથી જે માત્ર ઉપરછલ્લી દ્રશ્ય સમાનતા ધરાવતી હોય.
જોકે, સિસ્ટમના આર્કિટેક્ચરમાં રહેલી એક ગંભીર ખામીએ તે સાંકળ તોડી નાખી. ફ્લેગ કરેલા કન્ટેન્ટને માનવીય સમીક્ષા માટે કતારમાં રાખવાને બદલે, આ બગ દ્વારા ઓટોમેશનને સીધા જ કાયમી એકાઉન્ટ બેન (ban) સુધી લઈ જવાની મંજૂરી મળી ગઈ. બે મહિનાથી વધુ સમય સુધી, આ ભૂલ સક્રિય રહી, જેનાથી 8,000 થી વધુ એકાઉન્ટ્સ પ્રભાવિત થયા. સમસ્યા એટલી વધી ગઈ કે Discord ની એન્જિનિયરિંગ ટીમે આખરે સમસ્યાને ઓળખી કાઢી અને પેચ (patch) લાગુ કરતા પહેલા, એક જ વીકેન્ડમાં અન્ય 200 ખોટા પ્રતિબંધો લાગુ થયા. કંપનીનું કહેવું છે કે તે હવે તમામ અસરગ્રસ્ત એકાઉન્ટ્સને પુનઃસ્થાપિત કરવાની પ્રક્રિયા પર કામ કરી રહી છે, જોકે ઘણા વપરાશકર્તાઓ માટે વિશ્વાસને થયેલું નુકસાન તો થઈ ચૂક્યું છે.
અહીંની કાર્યપદ્ધતિ સમજવી જરૂરી છે. આ માત્ર AI દ્વારા ખોટો અંદાજ લગાવવાનો અને માનવી દ્વારા તેની સાથે સહમતી દર્શાવવાનો કિસ્સો નહોતો. 'હ્યુમન-ઇન-ધ-લૂપ' પ્રોટોકોલ, જે અંતિમ તપાસ (sanity check) તરીકે કામ કરે છે, તે ટેકનિકલ ભૂલને કારણે સંપૂર્ણપણે અવગણવામાં આવ્યો હતો. તે તફાવત મહત્વપૂર્ણ છે. પ્લેટફોર્મ્સ ઘણીવાર એવા માનવીય સમીક્ષકોનો ઉલ્લેખ કરીને આક્રમક ઓટોમેશનનું બચાવ કરે છે જેઓ કથિત રીતે વિશિષ્ટ કિસ્સાઓ (edge cases) પકડી લે છે. આ ઘટના સાબિત કરે છે કે તે સુરક્ષા વ્યવસ્થાઓ એટલી જ વિશ્વસનીય છે જેટલો તેને લાગુ કરતો કોડ છે.
ગ્રીડ્સ (Grids) એ મશીનને કેમ મૂંઝવણમાં મૂક્યું
ખોટા પ્રતિબંધોમાં, એક વિચિત્ર પેટર્ન જોવા મળી. X અને Reddit પરના વપરાશકર્તાઓએ વારંવાર રિપોર્ટ કર્યો કે ચોરસ ગ્રીડ પેટર્ન ધરાવતી છબીઓ પ્રતિબંધકારક કાર્યવાહીને ટ્રિગર કરી રહી હતી. ચેસબોર્ડ્સ. સ્પ્રેડશીટ્સ. ગેમ ટેક્સચર્સ. યુઝર ઇન્ટરફેસ એલિમેન્ટ્સ. આ કોઈ યાદચ્છિક ભૂલો નહોતી પરંતુ એક ચોક્કસ બચાવ તકનીક (evasion tactic) માટે અત્યંત સતર્ક રહેવા માટે ટ્યુન કરવામાં આવેલા મોડેલનું લક્ષણ હતું.
ગેરકાયદેસર સામગ્રીનો વેપાર કરનારા લોકો લાંબા સમયથી ઓટોમેટેડ ડિટેક્શન સિસ્ટમ્સને છેતરવાનો પ્રયાસ કરી રહ્યા છે. એક સામાન્ય પદ્ધતિમાં અલ્ગોરિધમ્સ તેને કેવી રીતે જુએ છે તેને વિકૃત કરવા માટે દૂષિત છબીઓ પર વિઝ્યુઅલ ઓવરલે, નોઈઝ અથવા ગ્રીડ જેવી ટેક્સચર મૂકવાનો સમાવેશ થાય છે. તેના જવાબમાં, પ્લેટફોર્મ્સ સ્વાભાવિક રીતે આ છૂપા કરવાની તકનીકોને શોધવા માટે તેમના મોડેલ્સને વધુ સખત બનાવે છે. Discord એ પણ આવું જ કર્યું હોય તેવું લાગે છે, પરંતુ સેન્સિટિવિટી થ્રેશોલ્ડ (sensitivity threshold) ખોટી જગ્યાએ આવી ગયું. સિસ્ટમે સામાન્ય ગ્રીડ પેટર્નને ગેરકાયદેસર સામગ્રીના સંભવિત છદ્મવેષ તરીકે ગણવાનું શરૂ કર્યું.
તેનું પરિણામ એક પ્રકારનો ડિજિટલ ઓટોઇમ્યુન રિસ્પોન્સ (autoimmune response) હતું. પ્લેટફોર્મની સુરક્ષા એટલી આક્રમક બની ગઈ કે તેણે સામાન્ય વપરાશકર્તાઓના કાયદેસરના કન્ટેન્ટ પર જ હુમલો કરવાનું શરૂ કરી દીધું. ચેસબોર્ડ એ કોઈ બચાવ તકનીક નથી. વ્યવસ્થિત રીતે ગોઠવાયેલો Excel સ્ક્રીનશોટ એ કોઈ છૂપો ખતરો નથી. છતાં, એક ઓવર-ટ્યુન કરેલા મેચિંગ અલ્ગોરિધમને, દ્રશ્ય માળખું એટલું સમાન લાગ્યું કે તેણે તાત્કાલિક, અફર પ્રતિબંધ (irrevocable ban) લાદી દીધો. આ એક સ્પષ્ટ ઉદાહરણ છે કે જ્યારે કેલિબ્રેશન સહેજ પણ અસંતુલિત થાય છે, ત્યારે મોડરેટર્સ અને ખરાબ તત્વો વચ્ચેની આ હથિયારોની સ્પર્ધા (arms race) કેવી રીતે આડઅસર (collateral damage) પેદા કરી શકે છે.
ખોટા પોઝિટિવ (False Positive) ની કિંમત
સોશિયલ પ્લેટફોર્મ પર ખોટો પ્રતિબંધ ક્યારેય માત્ર અસુવિધા નથી હોતો. વધતી જતી સંખ્યામાં લોકો માટે, Discord એક મહત્વપૂર્ણ ઇન્ફ્રાસ્ટ્રક્ચર તરીકે કાર્ય કરે છે. ડેવલપર્સ ત્યાં સપોર્ટ સર્વર્સ ચલાવે છે. ઇન્ડી ગેમ સ્ટુડિયો તેના દ્વારા તેમના સમુદાયો અને બીટા ટેસ્ટિંગનું સંચાલન કરે છે. રિમોટ ટીમો ખાનગી વર્કસ્પેસમાં સહયોગ કરે છે. ગેમર્સ વર્ષો અને ખંડો સુધી ફેલાયેલી મિત્રતા જાળવી રાખે છે. એકાઉન્ટ ગુમાવવાનો અર્થ માત્ર ચેટ હિસ્ટ્રી ગુમાવવી એ નથી; તે વ્યાવસાયિક સંબંધો તોડી શકે છે, સમુદાયોનો નાશ કરી શકે છે અને વપરાશકર્તાઓને એવી સેવાઓમાંથી બહાર કરી શકે છે જ્યાં તેમણે Nitro સબ્સ્ક્રિપ્શન અથવા ઇન્ટિગ્રેટેડ ગેમ ખરીદી દ્વારા નોંધપાત્ર નાણાં અને સમય રોક્યો હોય.
આ ઘટના પ્લેટફોર્મની જવાબદારીના વ્યાપક સંદર્ભમાં પણ આવે છે. Meta એ અસ્પષ્ટ એકાઉન્ટ સસ્પેન્શન અંગે સતત તપાસનો સામનો કર્યો છે, જેમાં તેનું પોતાનું Oversight Board આપમેળે લેવામાં આવતા નિર્ણયો અને તેની સામે કરવામાં આવતી અપીલની પ્રક્રિયામાં વધુ પારદર્શિતા માટે દબાણ કરી રહ્યું છે. Discord ની નિષ્ફળતા તે વિવાદનું જ એક મહત્વપૂર્ણ પ્રતિબિંબ પાડે છે: જ્યારે ઓટોમેશનમાં ભૂલ થાય છે, ત્યારે વપરાશકર્તાઓ ઘણીવાર નિરર્થક પ્રયાસો કરતા રહી જાય છે, તેઓ એવા ફોર્મમાં અપીલ કરે છે જે માત્ર ઓટોમેટેડ જવાબો આપે છે, અને ભૂલ સુધારી શકે તેવા કોઈ માણસ સુધી પહોંચવાનો કોઈ સ્પષ્ટ માર્ગ હોતો નથી.
ડેવલપર્સ અને AI સંશોધકો માટે, આ પાઠ આર્કિટેક્ચરલ (માળખાગત) છે. "Human-in-the-loop" એ માત્ર બ્લોગ પોસ્ટમાં કરવામાં આવેલું પોલિસીનું વચન ન હોવું જોઈએ. તે એક કડક ટેકનિકલ મર્યાદા હોવી જોઈએ. સિસ્ટમ માનવીય પુષ્ટિ વિના કાયમી પ્રતિબંધ લાદવામાં શારીરિક રીતે અસમર્થ હોવી જોઈએ. જો કોઈ બગ (bug) ને કારણે કોડ ઓટોમેશનને તે ચેકપોઈન્ટનેத்કી જવા દે છે, તો તેનો અર્થ એ છે કે સુરક્ષા કવચ ક્યારેય ખરેખર હતું જ નહીં. જેમ જેમ બદલાતા જોખમો સાથે સુસંગત રહેવા માટે ડિટેક્શન મોડલ્સ વધુ આક્રમક બની રહ્યા છે, તેમ પ્લેટફોર્મ્સને એવા ગવર્નર મિકેનિઝમ્સ બનાવવાની જરૂર છે જે ડિટેક્શન લેયર્સ જેટલા જ મજબૂત હોય.
શું બદલાવવું જોઈએ
અહીં પ્લેટફોર્મ્સ અને તેનો ઉપયોગ કરનારા લોકો બંને માટે વ્યવહારિક અસરો છે.
પ્લેટફોર્મ્સ માટે, મોડરેશન પાઇપલાઇન્સમાં એવા ફેઇલ-સેફ્સ હોવા જોઈએ જે એકાઉન્ટ બેન (ban) ને તેની ગંભીરતા મુજબ લે. કાયમી હટાવવા માટે અનેક સ્વતંત્ર સિગ્નલો અથવા માનવીય મંજૂરીની જરૂર હોવી જોઈએ જેને સિસ્ટમ ઓવરરાઈડ ન કરી શકે. પારદર્શિતા અહેવાલોમાં માત્ર કેટલું કન્ટેન્ટ દૂર કરવામાં આવ્યું તે જ નહીં, પરંતુ ટેકનિકલ ભૂલોને કારણે કેટલા અમલીકરણના પગલાં પાછા ખેંચવામાં આવ્યા તે પણ સામેલ હોવું જોઈએ. જ્યારે મશીન દ્વારા કોઈ સિસ્ટમેટિક ભૂલ થઈ હોય, ત્યારે વપરાશકર્તાઓને માત્ર શાંતિથી એકાઉન્ટ પુનઃસ્થાપિત કરવાને બદલે તે જાણવાનો અધિકાર છે.
વપરાશકર્તાઓ માટે, આ ઘટના એક યાદ અપાવે છે કે કોઈપણ કેન્દ્રીય પ્લેટફોર્મ તમારી કોઈ ભૂલ વગર પણ તમને લોકઆઉટ કરી શકે છે. જો તમે કોઈ કોમ્યુનિટી ચલાવો છો અથવા વ્યાવસાયિક સંકલન માટે Discord પર આધાર રાખતા હોવ, તો પ્લેટફોર્મની બહાર આવશ્યક સંપર્કો અને ડેટાના બેકઅપ રાખો. તેની જરૂર પડે તે પહેલાં જ અપીલ પ્રક્રિયાઓને સમજી લો. અને જ્યારે પ્લેટફોર્મ્સ નવા AI-સંચાલિત સુરક્ષા સાધનોની જાહેરાત કરે, ત્યારે શંકા રાખવી વ્યાજબી છે. માત્ર ડિટેક્શન કેટલું સચોટ છે તે જ નહીં, પરંતુ કયા માળખાગત અવરોધો તે ઓટોમેશનને પોતાની મેળે કાર્ય કરતા અટકાવે છે તે પણ પૂછો.
Discord એ આ ચોક્કસ બગને પેચ (patch) કરી દીધો છે અને એકાઉન્ટ્સ પુનઃસ્થાપિત કરી રહ્યું છે, પરંતુ મૂળભૂત તણાવ હજુ પણ વણઉકેલ્યો છે. પ્લેટફોર્મ્સ પર અપલોડની ઝડપે હાનિકારક સામગ્રી રોકવા માટે વાજબી દબાણ છે, અને આ દબાણ ઓટોમેશનને મોડરેશન સ્ટેક (moderation stack) માં વધુ આગળ ધકેલશે. પ્રશ્ન એ છે કે શું ઉદ્યોગ એવા સિસ્ટમ્સ બનાવી શકે છે જે રોજિંદા સામાન્ય કન્ટેન્ટ સામે નબળા પડ્યા વિના દુરુપયોગ સામે આક્રમક હોય. જ્યાં સુધી ટેકનિકલ આર્કિટેક્ચર એની ખાતરી ન આપે કે અંતિમ નિર્ણય લેવાની ચાવી હંમેશા માણસના હાથમાં હોય, ત્યાં સુધી મોડલ ટ્યુનિંગ ગમે તેટલું કરવામાં આવે તો પણ આગામી બેન વેવ (ban wave) ને રોકી શકાશે નહીં.