એક AI-સંચાલિત સપોર્ટ સિસ્ટમ, જે મોડેલ-આઉટપુટ તબક્કે સુરક્ષિત હોવાનું માનવામાં આવતું હતું, તે CRM રેકોર્ડ્સને પ્રોમ્પ્ટમાં ફીડ કરતા "સાઇડ ડોર" દ્વારા ગ્રાહકનો ડેટા લીક કરી રહી હતી. તેના નિર્માતાના પોસ્ટ-મોર્ટમ (તપાસ) પરથી જાણવા મળે છે કે મોડેલ જે ટેક્સ્ટ જનરેટ કરે છે તેનું રક્ષણ કરવું પૂરતું નથી – ઇનબાઉન્ડ રિક્વેસ્ટ, ઇન્ટરનલ ટૂલ્સમાંથી મેળવેલ ડેટા અને અંતિમ એમિશન (emission) એમ ત્રણેય માટે સ્વતંત્ર સુરક્ષા વ્યવસ્થાની જરૂર છે, અન્યથા કોઈ મોડેલ-આઉટપુટ બ્રીચ જોયા વગર પણ વ્યવસાય નામો, ઈમેલ અને આઈડી (IDs) જાહેર કરી શકે છે.

આ ત્રણ સીમાઓ શા માટે મહત્વની છે

મોટાભાગના ઓપરેટરો માને છે કે જ્યારે લેંગ્વેજ મોડેલ તેના દ્વારા જોયેલ કોઈ ગુપ્ત માહિતીનું પુનરાવર્તન કરે ત્યારે લીક થાય છે. વાસ્તવમાં, મોડેલ ડેટા જોતા પહેલા જ સૌથી મોટું જોખમ ઊભું થાય છે. એક AI એજન્ટ માહિતીના ત્રણ પ્રવાહો મેળવે છે:

  • Ingress – ગ્રાહક દ્વારા ટાઈપ કરવામાં આવેલી કાચી ક્વેરી (raw query).
  • Return path – એજન્ટ CRM જેવી ડાઉનસ્ટ્રીમ સિસ્ટમ્સમાંથી મેળવેલી માહિતી.
  • Emission – મોડેલ યુઝરને જે ટેક્સ્ટ પરત કરે છે તે.

જો આમાંથી કોઈપણ પ્રવાહમાં બિન-સુરક્ષિત ઓળખકર્તાઓ (identifiers) હોય, તો આઉટપુટ લેયર ફિલ્ટર થયેલું હોવા છતાં, એજન્ટ અજાણતા તેને તેના જવાબમાં સામેલ કરી શકે છે.

ડેમોથી પ્રોડક્શન સુધી: કઠિન અનુભવોમાંથી મળેલા પાઠ

પ્રોટોટાઇપને લાઇવ હેલ્પ ડેસ્ક પર લઈ જવાથી એવા ચોક્કસ નિષ્ફળતાઓ સામે આવી જે સાદા “redact-then-send” અભિગમમાં રહી ગઈ હતી.

  • Redact કરવાને બદલે Tokenize કરો – મોડેલ સુધી પહોંચતા પહેલા નામ અથવા ઈમેલ ડિલીટ કરવાથી સિસ્ટમ સાચો જવાબ ફરીથી બનાવી શકતી નથી. મૂળ કિંમતને સુરક્ષિત વોલ્ટમાં સ્ટોર કરો, પ્રોમ્પ્ટમાં તેને રેન્ડમ UUID સાથે બદલો, અને મોડેલનું કામ પૂરું થયા પછી UUID ને ફરીથી મૂળ કિંમત સાથે બદલી નાખો. આ પદ્ધતિ કાર્યક્ષમતા જાળવી રાખીને મોડેલના કોન્ટેક્સ્ટમાંથી કાચો ડેટા દૂર રાખે છે.

  • Checksums દ્વારા ઓળખકર્તાઓનું પ્રમાણીકરણ કરો – રેગ્યુલર એક્સપ્રેશન (regular expression) એવા સ્ટ્રિંગને શોધી કાઢે છે જે એકાઉન્ટ નંબર જેવું લાગે છે; ચેકસમ (checksum) તે સાચો ID છે કે નહીં તેની પુષ્ટિ કરે છે. ચેકસમ ફિલ્ટર એજન્ટને મનસ્વી નંબરોને સંવેદનશીલ ડેટા તરીકે લેતા અટકાવે છે, જેનાથી ખોટા પોઝિટિવ્સ (false positives) ઘટે છે જે અન્યથા બિનજરૂરી redactions ટ્રિગર કરી શકે છે.

  • ઓવરલેપિંગ સ્પેન્સને મર્જ કરો – ગ્રાહકના રેકોર્ડમાં ઘણીવાર નામ અને તેની પાછળ ઈમેલ એડ્રેસ હોય છે જે સમાન અક્ષરો ધરાવે છે (દા.ત., “John Doe john.doe@example.com”). ફક્ત નામનું ટોકનાઇઝેશન કરવાથી ઈમેલનો ભાગ ક્લિયર ટેક્સ્ટમાં રહી જાય છે, જે બહાર આવી શકે છે. આખા ઓવરલેપિંગ વિસ્તારને સિંગલ ટોકન તરીકે ગણો.

  • સાચી સીમાનું પરીક્ષણ કરો – માત્ર એમિશન લેયરની તપાસ કરીને પાસ થતું ટેસ્ટ સુરક્ષાનો ખોટો અહેસાસ આપે છે. રિટર્ન પાથમાં લીક પકડતું નિષ્ફળ ટેસ્ટ સુધારા માટે મજબૂર કરે છે. એવા ટેસ્ટ સ્યુટ્સ ડિઝાઇન કરો જે સ્પષ્ટપણે ત્રણેય સીમાઓની ચકાસણી કરે.

  • Ground truth પર નજર રાખો – જ્યારે કોઈ વ્યક્તિ AI દ્વારા જનરેટ કરેલા ડ્રાફ્ટને મોકલતા પહેલા તેમાં સુધારો કરે છે, ત્યારે મોડેલે પહેલેથી જ ખોટો પ્રતિસાદ આપી દીધો હોય છે. AI ના ડ્રાફ્ટની સરખામણી અંતિમ માનવ-મંજૂર કરેલા મેસેજ સાથે કરવાથી કોન્ફિડન્સ ગેપ્સ (confidence gaps) ખબર પડે છે અને સિસ્ટમને ભૂલોનું પુનરાવર્તન કરતા અટકાવે છે.

વ્યવસાયો માટેના જોખમો

કસ્ટમર-સર્વિસ AI એજન્ટ્સ જાહેર સંપર્ક અને આંતરિક ડેટા સ્ટોર્સના છેડા પર કામ કરે છે.

વિરોધી દલીલ: શા માટે કેટલાક હજુ પણ redaction ને પસંદ કરે છે

મુખ્ય સારાંશ (Takeaway)

AI-સંચાલિત કસ્ટમર-સર્વિસ એજન્ટને સુરક્ષિત કરવાનો પ્રશ્ન માત્ર એક દરવાજાનો નથી. ઇનબાઉન્ડ રિક્વેસ્ટ, ઇન્ટરનલ સિસ્ટમ્સમાંથી મેળવેલ ડેટા અને આઉટબાઉન્ડ ટેક્સ્ટને અલગ-અલગ દીવાલો તરીકે ગણો; જો એક પણ દીવાલ તૂટે તો આખી સેવા જોખમમાં મુકાઈ જાય છે. સંવેદનશીલ ફિલ્ડ્સનું ટોકનાઇઝેશન કરવું, ઓળખકર્તાઓનું પ્રમાણીકરણ કરવું, ઓવરલેપિંગ સ્પેન્સને મર્જ કરવા, સાચી સીમાનું પરીક્ષણ કરવું અને AI ડ્રાફ્ટની સતત અંતિમ માનવ મેસેજ સાથે સરખામણી કરવી એ એવા વ્યવહારુ પગલાં છે જે “copilot” ને વિશ્વાસપાત્ર, એજન્ટિક સર્વિસમાં ફેરવે છે.