മോഡൽ ഔട്ട്‌പുട്ട് ഘട്ടത്തിൽ സുരക്ഷിതമാണെന്ന് കരുതിയ ഒരു AI അധിഷ്ഠിത സപ്പോർട്ട് സിസ്റ്റം, CRM റെക്കോർഡുകൾ പ്രോംപ്റ്റിലേക്ക് നൽകുന്ന "സൈഡ് ഡോർ" വഴി ഉപഭോക്താക്കളുടെ വിവരങ്ങൾ ചോർത്തുന്നുണ്ടായിരുന്നു. മോഡൽ നിർമ്മിക്കുന്ന ടെക്സ്റ്റ് മാത്രം സംരക്ഷിക്കുന്നത് മതിയാകില്ലെന്ന് ഇതിന്റെ സ്രഷ്ടാവ് നടത്തിയ പോസ്റ്റ്-മോർട്ടം വിശകലനം കാണിക്കുന്നു - ഇൻബൗണ്ട് റിക്വസ്റ്റ് (inbound request), ഇന്റേണൽ ടൂളുകളിൽ നിന്ന് ശേഖരിക്കുന്ന ഡാറ്റ, ഫൈനൽ എമിഷൻ (final emission) എന്നിവയ്‌ക്കെല്ലാം സ്വതന്ത്രമായ സുരക്ഷാ സംവിധാനങ്ങൾ ആവശ്യമാണ്. അല്ലെങ്കിൽ, മോഡൽ ഔട്ട്‌പുട്ടിൽ ഒരു ചോർച്ചയും സംഭവിക്കാതെ തന്നെ പേരുകളും ഇമെയിലുകളും ഐഡികളുമെല്ലാം ഒരു ബിസിനസ്സിന് വെളിപ്പെടുത്തേണ്ടി വന്നേക്കാം.

ഈ മൂന്ന് അതിർവരമ്പുകൾ പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്

ലാംഗ്വേജ് മോഡൽ കണ്ടുപിടിച്ച രഹസ്യങ്ങൾ അത് ആവർത്തിക്കുമ്പോഴാണ് വിവരങ്ങൾ ചോരുന്നത് എന്ന് മിക്ക ഓപ്പറേറ്റർമാരും കരുതുന്നു. എന്നാൽ പ്രായോഗികമായി നോക്കിയാൽ, മോഡൽ ഡാറ്റ കാണുന്നതിന് മുമ്പേ വലിയ തോതിലുള്ള വിവരച്ചോർച്ച സംഭവിക്കുന്നുണ്ട്. ഒരു AI ഏജന്റ് മൂന്ന് തരത്തിലുള്ള വിവരങ്ങളാണ് സ്വീകരിക്കുന്നത്:

  • Ingress – ഉപഭോക്താവ് ടൈപ്പ് ചെയ്യുന്ന നേരിട്ടുള്ള ചോദ്യം (raw query).
  • Return path – CRM പോലുള്ള ഡൗൺസ്ട്രീം സിസ്റ്റങ്ങളിൽ നിന്ന് ഏജന്റ് ശേഖരിക്കുന്ന വിവരങ്ങൾ.
  • Emission – മോഡൽ ഉപയോക്താവിന് തിരികെ നൽകുന്ന ടെക്സ്റ്റ്.

ഈ സ്ട്രീമുകളിൽ ഏതെങ്കിലും ഒന്നിൽ സുരക്ഷിതമല്ലാത്ത ഐഡന്റിഫയറുകൾ (identifiers) ഉണ്ടെങ്കിൽ, ഔട്ട്‌പുട്ട് ലെയർ ഫിൽട്ടർ ചെയ്തിട്ടുണ്ടെങ്കിൽ പോലും, ഏജന്റ് അബദ്ധവശാൽ അവ അതിന്റെ മറുപടിയിൽ ഉൾപ്പെടുത്തിയേക്കാം.

ഡെമോയിൽ നിന്ന് പ്രൊഡക്ഷനിലേക്ക്: കഠിനമായി പഠിച്ച പാഠങ്ങൾ

ഒരു പ്രോട്ടോടൈപ്പ് ലൈവ് ഹെൽപ്പ് ഡെസ്കിലേക്ക് മാറ്റിയപ്പോൾ, വെറുമൊരു "redact-then-send" (വിവരങ്ങൾ മറച്ചുവെച്ച് അയക്കുക) രീതിയിലൂടെ കണ്ടെത്താൻ കഴിയാത്ത പരാജയങ്ങൾ വെളിപ്പെട്ടു.

  • Redact ചെയ്യുന്നതിന് പകരം Tokenize ചെയ്യുക – മോഡലിൽ എത്തുന്നതിന് മുമ്പ് ഒരു പേരോ ഇമെയിലോ ഡിലീറ്റ് ചെയ്യുന്നത് ശരിയായ ഉത്തരം നൽകുന്നതിൽ നിന്ന് സിസ്റ്റത്തെ തടയുന്നു. അതിനാൽ, യഥാർത്ഥ മൂല്യം ഒരു സുരക്ഷിത വോൾട്ടിൽ (secure vault) സൂക്ഷിക്കുക, പ്രോംപ്റ്റിൽ അതിനുപകരം ഒരു റാൻഡം UUID ഉപയോഗിക്കുക, മോഡൽ ജോലി പൂർത്തിയാക്കിയ ശേഷം ആ UUID തിരികെ യഥാർത്ഥ മൂല്യത്തിലേക്ക് മാറ്റുക. ഇത് സിസ്റ്റത്തിന്റെ പ്രവർത്തനക്ഷമത നിലനിർത്തിക്കൊണ്ടുതന്നെ മോഡലിന്റെ പരിധിയിൽ നിന്ന് ഡാറ്റയെ അകറ്റി നിർത്തുന്നു.

  • Checksum ഉപയോഗിച്ച് ഐഡന്റിഫയറുകൾ പരിശോധിക്കുക – ഒരു അക്കൗണ്ട് നമ്പർ പോലെ തോന്നുന്ന സ്ട്രിംഗിനെ ഒരു റെഗുലർ എക്സ്പ്രഷൻ (regular expression) തിരിച്ചറിയുന്നു; എന്നാൽ അത് യഥാർത്ഥ ഐഡി ആണോ എന്ന് ഒരു ചെക്ക്സം (checksum) സ്ഥിരീകരിക്കുന്നു. ഒരു ചെക്ക്സം ഫിൽട്ടർ ഉപയോഗിക്കുന്നത് വഴി ഏജന്റ് അനാവശ്യമായ നമ്പറുകളെ സെൻസിറ്റീവ് ഡാറ്റയായി കണക്കാക്കുന്നത് തടയാം, ഇത് അനാവശ്യമായ റെഡാക്ഷനുകൾ (redactions) ഒഴിവാക്കാൻ സഹായിക്കുന്നു.

  • ഓവർലാപ്പിംഗ് സ്പാനുകൾ (overlapping spans) യോജിപ്പിക്കുക – ഉപഭോക്താക്കളുടെ റെക്കോർഡുകളിൽ പലപ്പോഴും പേരിന് പിന്നാലെ ഇമെയിൽ വരാറുണ്ട്, ഇവയിൽ ചില അക്ഷരങ്ങൾ പൊതുവായേക്കാം (ഉദാഹരണത്തിന്, “John Doe john.doe@example.com”). പേര് മാത്രം ടോക്കണൈസ് ചെയ്യുന്നത് ഇമെയിലിന്റെ ഒരു ഭാഗം പ്ലെയിൻ ടെക്സ്റ്റ് ആയി അവശേഷിപ്പിക്കുകയും അത് പുറത്തുവരാൻ കാരണമാവുകയും ചെയ്യും. അതിനാൽ, ഓവർലാപ്പ് ചെയ്യുന്ന മുഴുവൻ ഭാഗത്തെയും ഒരു സിംഗിൾ ടോക്കണായി പരിഗണിക്കുക.

  • ശരിയായ അതിർവരമ്പ് പരിശോധിക്കുക – എമിഷൻ ലെയർ (emission layer) മാത്രം പരിശോധിക്കുന്ന ടെസ്റ്റുകൾ തെറ്റായ സുരക്ഷാബോധം നൽകുന്നു. റിട്ടേൺ പാത്തിൽ (return path) വിവരച്ചോർച്ച കണ്ടെത്തുന്ന ഒരു പരാജയപ്പെട്ട ടെസ്റ്റ് പരിഹാരത്തിന് വഴിതെളിക്കുന്നു. മൂന്ന് അതിർവരമ്പുകളും പ്രത്യേകം പരിശോധിക്കുന്ന രീതിയിലുള്ള ടെസ്റ്റ് സ്യൂട്ടുകൾ രൂപകൽപ്പന ചെയ്യുക.

  • Ground truth ട്രാക്ക് ചെയ്യുക – ഒരു മനുഷ്യൻ AI തയ്യാറാക്കിയ ഡ്രാഫ്റ്റ് അയക്കുന്നതിന് മുമ്പ് തിരുത്തുമ്പോൾ, മോഡൽ നേരത്തെ തന്നെ തെറ്റായ മറുപടിയാണ് നൽകിയിട്ടുണ്ടാകുക. AI-യുടെ ഡ്രാഫ്റ്റും മനുഷ്യൻ അംഗീകരിച്ച അന്തിമ സന്ദേശവും തമ്മിൽ താരതമ്യം ചെയ്യുന്നത് വഴി സിസ്റ്റത്തിലെ പിഴവുകൾ കണ്ടെത്താനും തെറ്റുകൾ ആവർത്തിക്കാതിരിക്കാനും സാധിക്കും.

ബിസിനസ്സുകൾ നേരിടുന്ന വെല്ലുവിളികൾ

കസ്റ്റമർ സർവീസ് AI ഏജന്റുകൾ പൊതുജനങ്ങളുമായുള്ള ആശയവിനിമയത്തിന്റെയും ആന്തരിക ഡാറ്റാ സ്റ്റോറുകളുടെയും ഇടയിലാണ് പ്രവർത്തിക്കുന്നത്.

എതിർവാദം: എന്തുകൊണ്ട് ചിലർ ഇപ്പോഴും റെഡാക്ഷനെ (redaction) അനുകൂലിക്കുന്നു

ചുരുക്കത്തിൽ

AI അധിഷ്ഠിത കസ്റ്റമർ സർവീസ് ഏജന്റിനെ സുരക്ഷിതമാക്കുക എന്നത് ഒരു വാതിൽ മാത്രം അടച്ചാൽ തീരുന്ന പ്രശ്നമല്ല. ഇൻബൗണ്ട് റിക്വസ്റ്റ്, ഇന്റേണൽ സിസ്റ്റങ്ങളിൽ നിന്ന് ശേഖരിക്കുന്ന ഡാറ്റ, ഔട്ട്‌ബൗണ്ട് ടെക്സ്റ്റ് എന്നിവയെ വ്യത്യസ്തമായ മതിലുകളായി കാണുക; ഇതിൽ ഏതെങ്കിലും ഒന്ന് തകർന്നാൽ മുഴുവൻ സേവനവും അപകടത്തിലാകും. സെൻസിറ്റീവ് ഫീൽഡുകൾ ടോക്കണൈസ് ചെയ്യുക, ഐഡന്റിഫയറുകൾ പരിശോധിക്കുക, ഓവർലാപ്പിംഗ് സ്പാനുകൾ യോജിപ്പിക്കുക, ശരിയായ അതിർവരമ്പ് പരിശോധിക്കുക, AI ഡ്രാഫ്റ്റുകളെ മനുഷ്യർ തയ്യാറാക്കിയ സന്ദേശങ്ങളുമായി നിരന്തരം താരതമ്യം ചെയ്യുക എന്നിവയാണ് ഒരു “copilot”-നെ വിശ്വസനീയമായ ഒരു ഏജന്റിക് സർവീസായി മാറ്റുന്ന പ്രായോഗിക നടപടികൾ.