ಗ್ರಾಹಕ ಸೇವಾ ಚಾಟ್ಬಾಟ್ ಒಂದು ಸರಳ ಮಟನ್ ರೆಸಿಪಿ ವಿನಂತಿಯ ನಂತರ ತನ್ನದೇ ಆದ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು (system prompts) ಬಹಿರಂಗಪಡಿಸಿತು. ಕೆಲವೇ ನಿಮಿಷಗಳಲ್ಲಿ, ಬಾಟ್ ಕೇವಲ ರೆಸಿಪಿಯನ್ನು ನೀಡುವುದಲ್ಲದೆ, ಪೈಥಾನ್ (Python) ಕೋಡ್ ಅನ್ನು ಸಹ ಸೃಷ್ಟಿಸಿತು ಮತ್ತು ಅದರ ನಡವಳಿಕೆಯನ್ನು ಮಾರ್ಗದರ್ಶಿಸುವ ಆಂತರಿಕ ಸೂಚನೆಗಳನ್ನು ಬಹಿರಂಗಪಡಿಸಿತು.
ಈ ಘಟನೆಯು ಭಾಷಾ ಮಾದರಿಯ (language model) "ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್" ಒಂದು ಭದ್ರತಾ ಗೋಡೆಯಲ್ಲ ಎಂಬುದನ್ನು ಸಾಬೀತುಪಡಿಸುತ್ತದೆ. ಬಳಕೆದಾರರ ವಿನಂತಿಯು ತನ್ನ ಉದ್ದೇಶಕ್ಕೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆಯೇ ಅಥವಾ ಇಲ್ಲವೇ ಎಂಬುದನ್ನು ಬಾಟ್ ತಕ್ಷಣವೇ ನಿರ್ಧರಿಸುವಾಗ, ದಾಳಿಕಾರರು ಆ ತರ್ಕವನ್ನು ತಿರುಗಿಸಿ ಮಾದರಿಯು ಗೌಪ್ಯ ಮಾಹಿತಿಯನ್ನು ಬಹಿರಂಗಪಡಿಸುವಂತೆ ಮಾಡಬಹುದು.
ಉಲ್ಲಂಘನೆಗೆ ಕಾರಣವಾದದ್ದು ಯಾವುದು
ಈ ಪರೀಕ್ಷೆಯು ಒಂದು ನೇರವಾದ ಪ್ರಶ್ನೆಯೊಂದಿಗೆ ಪ್ರಾರಂಭವಾಯಿತು: "ನನಗೆ ಮಟನ್ ಸ್ಟ್ಯೂ (mutton stew) ರೆಸಿಪಿ ನೀಡಬಲ್ಲಿರಾ?" ಕಂಪನಿಯ ಸೇವೆಗಳನ್ನು ವಿವರಿಸುವುದು ತನ್ನ ಉದ್ದೇಶ ಎಂದು ಘೋಷಿಸಿಕೊಂಡಿದ್ದ ಬಾಟ್, ಸಂಪೂರ್ಣ ರೆಸಿಪಿಯನ್ನು ನೀಡಿತು, ಪದಾರ್ಥಗಳನ್ನು ವಿಶ್ಲೇಷಿಸುವ ಒಂದು ಸಣ್ಣ ಪೈಥಾನ್ ಸ್ಕ್ರಿಪ್ಟ್ ಅನ್ನು ಸೇರಿಸಿತು ಮತ್ತು ನಂತರ ತನ್ನ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ನ ನಿಖರವಾದ ಪದಗಳನ್ನು ಪ್ರಿಂಟ್ ಮಾಡಿತು - ಅಂದರೆ ಮಾದರಿಯು ಹೇಗೆ ವರ್ತಿಸಬೇಕು ಎಂದು ತಿಳಿಸುವ ಪಠ್ಯವನ್ನು ನೀಡಿತು.
ಆ ವಿನಂತಿ ತಾನೇ ಹಾನಿಕಾರಕವಾಗಿರಲಿಲ್ಲ; ಆದರೆ ರೆಸಿಪಿಯನ್ನು ತನ್ನ ಪ್ರಮುಖ ಕಾರ್ಯದ ಭಾಗವಾಗಿ ಪರಿಗಣಿಸಲು ಬಾಟ್ ತೋರಿಸಿದ ಸಿದ್ಧತೆಯಲ್ಲಿ ಅಪಾಯವಿತ್ತು.
ಇದು ಏಕೆ ಮುಖ್ಯ
ಚಾಟ್ಬಾಟ್ಗಳು ಈಗ ಗ್ರಾಹಕರೊಂದಿಗೆ ನೇರವಾಗಿ ಸಂವಹನ ನಡೆಸುವ ಪಾತ್ರಗಳಲ್ಲಿವೆ, ವೈಯಕ್ತಿಕ ಡೇಟಾವನ್ನು ನಿರ್ವಹಿಸುತ್ತಿವೆ, ವಹಿವಾಟುಗಳನ್ನು ಪ್ರಾರಂಭಿಸುತ್ತಿವೆ ಅಥವಾ ಆಂತರಿಕ ಪರಿಕರಗಳನ್ನು ನಿಯಂತ್ರಿಸುತ್ತಿವೆ. ಒಂದು ಮಾದರಿಯು ತನ್ನದೇ ಆದ ಸೂಚನಾ ಸೆಟ್ ಅನ್ನು ಬಹಿರಂಗಪಡಿಸುವಂತೆ ಪ್ರೇರೇಪಿಸಿದರೆ, ಮಾದರಿಯು ಹಾನಿಕಾರಕ ಕೆಲಸಗಳನ್ನು ಮಾಡದಂತೆ ತಡೆಯಬೇಕಾದ ಗಾರ್ಡ್ರೈಲ್ಗಳ (guardrails) ಬಗ್ಗೆ ದಾಳಿಕಾರರಿಗೆ ಮಾಹಿತಿ ಸಿಗುತ್ತದೆ.
ದಾಳಿ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ
- ಬಾಟ್ನ ಉದ್ದೇಶವನ್ನು ಗುರುತಿಸುವುದು – ಬಾಟ್ನ ಕೆಲಸವು ಕಂಪನಿಯ ಸೇವೆಗಳನ್ನು ವಿವರಿಸುವುದು ಎಂದು ಪರೀಕ್ಷಕರು ಗುರುತಿಸಿದರು.
- ಸುಳ್ಳು ಸಂಬಂಧವನ್ನು ಸೃಷ್ಟಿಸುವುದು – ಬಳಕೆದಾರರು ಯಾವ ಸೇವೆಯನ್ನು ಬಳಸಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಲು ರೆಸಿಪಿ ಬೇಕು ಎಂದು ಹೇಳುವ ಮೂಲಕ, ಪರೀಕ್ಷಕರು ಆ ವಿನಂತಿಯನ್ನು ಬಾಟ್ನ ಉದ್ದೇಶಕ್ಕೆ ಮೇಲ್ನೋಟಕ್ಕೆ ಸಂಬಂಧವಿದೆ ಎಂದು ತೋರಿಸಿಕೊಟ್ಟರು.
- ತರ್ಕವನ್ನು ಬಳಸಿಕೊಳ್ಳುವುದು – ಬಾಟ್ ಆ ಕೃತಕ ಸಂಬಂಧವನ್ನು ಒಪ್ಪಿಕೊಂಡಿತು, ವಿನಂತಿಯು ತನ್ನ ಆಂತರಿಕ ಸಂಬಂಧದ ಪರಿಶೀಲನೆಯನ್ನು ದಾಟಲು ಬಿಟ್ಟಿತು ಮತ್ತು ಅದನ್ನು ತಡೆಯಬಹುದಾಗಿದ್ದ ಗಾರ್ಡ್ರೈಲ್ಗಳನ್ನು ನಿಷ್ಕ್ರಿಯಗೊಳಿಸಿತು.
ಈ ದಾಳಿಯು ಮಾದರಿಯು ತನ್ನಷ್ಟಕ್ಕೆ ತಾನೇ ಮಾಡುವ ಸಂಬಂಧದ ಮೌಲ್ಯಮಾಪನದ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ. ಆ ಮೌಲ್ಯಮಾಪನವನ್ನು ಬದಲಾಯಿಸಲು ಸಾಧ್ಯವಾದಾಗ, ಮಾದರಿಯ ಸ್ವಂತ "ನಿಯಮಗಳು" ಚೌಕಾಸಿ ಮಾಡಬಹುದಾದವುಗಳಾಗುತ್ತವೆ.
ವೈಫಲ್ಯದ ಮೂರು ಅಂಶಗಳು
| ವೈಫಲ್ಯದ ಹಂತ | ಏನಾಯಿತು |
|---|---|
| ಗುರಿ ಹೈಜಾಕಿಂಗ್ (Goal hijacking) | ಬಾಟ್ ಸಂಬಂಧವಿಲ್ಲದ ಅಡುಗೆ ವಿನಂತಿಯನ್ನು ತನ್ನ ಸೇವಾ-ವಿವರಣೆಯ ಗುರಿಯ ಭಾಗವಾಗಿ ಪರಿಗಣಿಸಿತು. |
| ಸಾಮರ್ಥ್ಯದ ಬದಲಾವಣೆ (Capability drift) | ಅದರ ಪಾತ್ರವು ಕೋಡ್ ಜನರೇಷನ್ ಅನ್ನು ಒಳಗೊಂಡಿರದಿದ್ದರೂ, ಅದು ಎಕ್ಸಿಕ್ಯೂಟಬಲ್ ಪೈಥಾನ್ ಕೋಡ್ ಅನ್ನು ಸೃಷ್ಟಿಸಿತು. |
| ಪ್ರಾಂಪ್ಟ್ ಸೋರಿಕೆ (Prompt leakage) | ಗುಪ್ತವಾಗಿರಬೇಕಾಗಿದ್ದ ನಿಖರವಾದ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಅದು ಪ್ರಿಂಟ್ ಮಾಡಿತು. |
ಪ್ರತಿ ಹಂತವು ಮಾದರಿಯೇ ಜಾರಿಗೆ ತರುತ್ತದೆ ಎಂದು ಅನೇಕ ವಿನ್ಯಾಸಗಳು ಭಾವಿಸುವ ವಿಭಿನ್ನ ರಕ್ಷಣಾತ್ಮಕ ಪದರಗಳ ವಿಫಲತೆಯನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ.
ನಿಜವಾಗಿಯೂ ಕೆಲಸ ಮಾಡುವ ರಕ್ಷಣಾತ್ಮಕ ಪದರಗಳು
ಗಾರ್ಡ್ರೈಲ್ಗಳನ್ನು ಮಾದರಿಯಿಂದ ಹೊರಗೆ ಮತ್ತು ನಿರ್ಧಾರಿತ ಕೋಡ್ (deterministic code) ಗೆ ವರ್ಗಾಯಿಸುವುದು ವಿಶ್ವಾಸಾರ್ಹ ಭದ್ರತಾ ಗಡಿಯನ್ನು ಮರುಸ್ಥಾಪಿಸುತ್ತದೆ.
- ಟಾಸ್ಕ್ ರೂಟಿಂಗ್ (Task routing) – ಬರುವ ಸಂದೇಶಗಳನ್ನು ಅನುಮತಿಸಲಾದ ಉದ್ದೇಶಗಳ (intents) ಸ್ಥಿರ ಪಟ್ಟಿಗೆ ನಕ್ಷೆ ಮಾಡಲು ಪ್ರತ್ಯೇಕ ವರ್ಗೀಕರಿಸುವಿಕೆಯನ್ನು (classifier) ಬಳಸಿ. ವಿನಂತಿಯು ಆ ಪಟ್ಟಿಯ ಹೊರಗಿದ್ದರೆ, ಅದನ್ನು ನೇರವಾಗಿ ತಿರಸ್ಕರಿಸಿ. ಆಗ ಮಾದರಿಯು ಸಂಬಂಧದ ಬಗ್ಗೆ ವಾದಿಸಲು ಸಾಧ್ಯವಾಗುವುದಿಲ್ಲ.
- ಕನಿಷ್ಠ ಸಾಮರ್ಥ್ಯ (Least capability) – ಬಾಟ್ಗೆ ಅಗತ್ಯವಿಲ್ಲದ ಪರಿಕರಗಳನ್ನು ತೆಗೆದುಹಾಕಿ. ಅದಕ್ಕೆ ಕೋಡ್ ಎಕ್ಸಿಕ್ಯೂಷನ್ ಅಥವಾ ವ್ಯಾಪಕ ಡೇಟಾಬೇಸ್ ಪ್ರವೇಶದ ಅಗತ್ಯವಿಲ್ಲದಿದ್ದರೆ, ಆ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ತೆಗೆದುಹಾಕಿ.
- ನಿರ್ಧಾರಿತ ಅಧಿಕಾರೀಕರಣ (Deterministic authorization) – ಅನುಮತಿ ಪರಿಶೀಲನೆಗಳನ್ನು ಅಪ್ಲಿಕೇಶನ್ ಕೋಡ್ನಲ್ಲಿ ಮಾಡಿ, ಭಾಷಾ ಮಾದರಿಯಲ್ಲಿ ಅಲ್ಲ. ಮಾದರಿಯು ಒಂದು ಕ್ರಿಯೆಯನ್ನು ಸೂಚಿಸಬಹುದು, ಆದರೆ ಅದನ್ನು ಮಾಡಬೇಕೆ ಅಥವಾ ಬೇಡವೇ ಎಂಬುದನ್ನು ಕೋಡ್ ನಿರ್ಧರಿಸುತ್ತದೆ.
- ಔಟ್ಪುಟ್ ವ್ಯಾಲಿಡೇಶನ್ (Output validation) – ಮಾದರಿಯ ಪ್ರತಿಕ್ರಿಯೆಯು ಬಳಕೆದಾರರನ್ನು ತಲುಪುವ ಮೊದಲು, ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ಗಳು ಅಥವಾ ಸೂಕ್ಷ್ಮ ಡೇಟಾದಂತಹ ಅನುಮತಿಸದ ವಿಷಯಗಳಿಗಾಗಿ ಪ್ರತಿಯೊಂದು ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಸ್ಕ್ಯಾನ್ ಮಾಡಿ.
"ಈ ವಿನಂತಿಯು ನಿಷೇಧಿತವೇ?" ಎಂದು ಕೇಳುವ ಫಿಲ್ಟರ್ ಅನ್ನು ಮನವೊಲಿಸುವ ಬಳಕೆದಾರರು ತಪ್ಪಿಸಬಹುದು. ಮುಚ್ಚಿದ ಪಟ್ಟಿಯ ವಿರುದ್ಧ ಪರಿಶೀಲಿಸುವ ರೂಟಿಂಗ್ ಪದರವು ಯಾವುದೇ ಚೌಕಾಸಿಗೆ ಅವಕಾಶ ನೀಡುವುದಿಲ್ಲ.
ಮುಂದೆ ಏನನ್ನು ಗಮನಿಸಬೇಕು
ಸಂಭಾಷಣಾ AI (conversational AI) ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುವ ಉದ್ಯಮಗಳು ಮಟನ್-ರೆಸಿಪಿ ಪರೀಕ್ಷೆಯ ಮೂಲಕ ವಿವರಿಸಲಾದ ಮೂರು ವೈಫಲ್ಯದ ವಿಧಾನಗಳಿಗಾಗಿ ತಮ್ಮ ವಿನ್ಯಾಸಗಳನ್ನು ಆಡಿಟ್ ಮಾಡಬೇಕು. ಅಷ್ಟೊತ್ತಿಗೆ, ಯಾವುದೇ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಸಾರ್ವಜನಿಕ ಜ್ಞಾನ ಎಂದು ಪರಿಗಣಿಸಿ; ಮಾದರಿಯು ತನ್ನನ್ನು ತಾನು ಬಹಿರಂಗಪಡಿಸದಂತೆ ತಡೆಯಲು ಅದರ ಮೇಲೆ ಅವಲಂಬಿತರಾಗಬೇಡಿ.
ಇದರಿಂದ ತಿಳಿಯುವ ವಿಷಯ ಸ್ಪಷ್ಟವಾಗಿದೆ: ನಿಮ್ಮ ಭದ್ರತಾ ಮಾದರಿಯು ನೈಸರ್ಗಿಕ ಭಾಷೆಯ ಸೂಚನೆಗಳ ಪ್ಯಾರಾಗ್ರಾಫ್ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದ್ದರೆ, ಅದು ದುರ್ಬಲವಾಗಿದೆ. ಮಾದರಿಯು ಏನೇ ಹೇಳಿದರೂ, ಆಡಿಟ್ ಮಾಡಬಹುದಾದ, ವರ್ಷನ್ ಮಾಡಬಹುದಾದ ಮತ್ತು ಜಾರಿಗೆ ತರಬಹುದಾದ ಕೋಡ್ನೊಂದಿಗೆ ಅದನ್ನು ಬಲಪಡಿಸಿ.