كان هناك نظام دعم مدعوم بالذكاء الاصطناعي يُعتقد أنه محصن عند مرحلة مخرجات النموذج، ولكنه كان يسرب بيانات العملاء عبر "الباب الجانبي" الذي يغذي المطالبة (prompt) بسجلات نظام إدارة علاقات العملاء (CRM). يظهر التحليل اللاحق (post-mortem) الذي أجراه المبتكر أن حماية النص الذي يولده النموذج وحده لا تكفي؛ إذ تحتاج كل من الطلبات الواردة، والبيانات المسترجعة من الأدوات الداخلية، والمخرجات النهائية إلى ضمانات مستقلة، وإلا فقد تعرض الشركة لأسماء وعناوين بريد إلكتروني ومعرفات دون أن تكتشف أي خرق في مخرجات النموذج.

لماذا تهم هذه الحدود الثلاثة

يفترض معظم المشغلين أن التسريب يحدث عندما يكرر النموذج اللغوي سراً رآه. ولكن في الواقع، يحدث أكبر تعرض للخطر قبل أن يرى النموذج البيانات حتى. يتلقى وكيل الذكاء الاصطناعي ثلاثة تدفقات من المعلومات:

  • المدخلات (Ingress) – الاستعلام الخام الذي يكتبه العميل.
  • مسار العودة (Return path) – المعلومات التي يسحبها الوكيل من الأنظمة التابعة مثل CRM.
  • المخرجات (Emission) – النص الذي يعيده النموذج إلى المستخدم.

إذا حمل أي من هذه التدفقات معرفات غير محمية، فقد يقوم الوكيل بتضمينها عن غير قصد في رده، حتى عندما تكون طبقة المخرجات مفلترة.

من العرض التجريبي إلى الإنتاج: دروس مستفادة بشق الأنفس

كشف نقل النموذج الأولي إلى مكتب مساعدة حي عن إخفاقات ملموسة لم يلحظها نهج "الحجب ثم الإرسال" البسيط.

  • استخدام الرموز (Tokenize) بدلاً من الحجب (Redact) – إن حذف الاسم أو البريد الإلكتروني قبل وصوله إلى النموذج يمنع النظام من إعادة بناء إجابة صحيحة. قم بتخزين القيمة الأصلية في خزنة آمنة، واستبدلها بمعرف فريد عشوائي (UUID) في المطالبة (prompt)، ثم استبدل الـ UUID بالقيمة الأصلية بعد انتهاء النموذج. يحافظ هذا على بقاء البيانات الخام خارج سياق النموذج مع الحفاظ على الوظائف.

  • التحقق من صحة المعرفات باستخدام مجموع التحقق (Checksums) – يمكن للتعبير النمطي (Regular expression) رصد سلسلة نصية تبدو كأنها رقم حساب؛ بينما يؤكد مجموع التحقق ما إذا كان معرفاً حقيقياً. يمنع مرشح مجموع التحقق الوكيل من التعامل مع الأرقام العشوائية كبيانات حساسة، مما يقلل من النتائج الإيجابية الكاذبة التي قد تؤدي إلى عمليات حجب غير ضرورية.

  • دمج النطاقات المتداخلة (Merge overlapping spans) – غالباً ما تحتوي سجلات العملاء على اسم يليه عنوان بريد إلكتروني يتشاركان في بعض الأحرف (مثل: “John Doe john.doe@example.com”). إن تحويل الاسم فقط إلى رموز يترك جزءاً من البريد الإلكتروني كنص واضح، مما قد يؤدي لتسريبه. تعامل مع المنطقة المتداخلة بأكملها كرمز واحد.

  • اختبار الحد الصحيح – الاختبار الذي ينجح عبر فحص طبقة المخرجات فقط يعطي شعوراً زائفاً بالأمان. أما الاختبار الفاشل الذي يكتشف تسريباً في مسار العودة فيفرض إجراء إصلاح. صمم مجموعات اختبار تتحقق صراحة من كل حد من الحدود الثلاثة.

  • تتبع الحقيقة المرجعية (Ground truth) – عندما يقوم إنسان بتعديل المسودة التي أنشأها الذكاء الاصطناعي قبل إرسالها، يكون النموذج قد أنتج بالفعل استجابة خاطئة. إن مقارنة مسودة الذكاء الاصطناعي بالرسالة النهائية التي وافق عليها الإنسان تكشف عن فجوات الثقة وتمنع النظام من تعلم تكرار الأخطاء.

المخاطر التي تواجه الشركات

تقع وكلاء خدمة العملاء المدعومة بالذكاء الاصطناعي عند تقاطع التفاعل العام ومخازن البيانات الداخلية.

الحجة المضادة: لماذا لا يزال البعض يفضلون الحجب

الخلاصة

إن تأمين وكيل خدمة عملاء مدعوم بالذكاء الاصطناعي ليس مشكلة تتعلق بباب واحد. تعامل مع الطلب الوارد، والبيانات المسترجعة من الأنظمة الداخلية، والنص الصادر كجدران منفصلة؛ فخرق أي منها يعني تعرض الخدمة بأكملها للخطر. إن تحويل الحقول الحساسة إلى رموز، والتحقق من صحة المعرفات، ودمج النطاقات المتداخلة، واختبار الحد الصحيح، والمقارنة المستمرة بين مسودات الذكاء الاصطناعي والرسائل البشرية النهائية، هي الخطوات العملية التي تحول "المساعد الطيار" (copilot) إلى خدمة موثوقة وفاعلة.