Sawan Dasari ಅವರ ಹೊಸ arXiv ಅಧ್ಯಯನವು, 4,000 ಪ್ರಯೋಗಗಳ ಆಧಾರದ ಮೇಲೆ, ಹೆಚ್ಚಿನ ಮಷೀನ್-ಲರ್ನಿಂಗ್ ವರ್ಕ್ಲೋಡ್ಗಳಿಗೆ ಸಂಕೀರ್ಣವಾದ ಡ್ರಿಫ್ಟ್-ಡಿಟೆಕ್ಷನ್ ಪೈಪ್ಲೈನ್ಗಳಿಗಿಂತ ಒಂದು ಊಹಿಸಬಹುದಾದ ನಿಯಮಿತ ಮರು-ತರಬೇತಿ (periodic-retraining) ವೇಳಾಪಟ್ಟಿಯೇ ಉತ್ತಮ ಎಂದು ತೋರಿಸುತ್ತದೆ—ಆದರೆ ಮಾಡೆಲ್ ಇನ್ಕ್ರಿಮೆಂಟಲ್ ಲರ್ನಿಂಗ್ (incremental learning) ಸಾಮರ್ಥ್ಯವನ್ನು ಹೊಂದಿದ್ದರೆ ಮಾತ್ರ ಇದು ಅನ್ವಯಿಸುವುದಿಲ್ಲ.
ಮರು-ತರಬೇತಿಯ ಪ್ರಶ್ನೆ ಈಗ ಏಕೆ ಮುಖ್ಯವಾಗಿದೆ
ಒಮ್ಮೆ ಮಾಡೆಲ್ ಅನ್ನು ನಿಯೋಜಿಸಿದ ನಂತರ (deployed), ನೈಜ ಪ್ರಪಂಚದ ಡೇಟಾ ಅಪರೂಪವಾಗಿ ಸ್ಥಿರವಾಗಿರುತ್ತದೆ. ಗ್ರಾಹಕರ ಆದ್ಯತೆಗಳು ಬದಲಾಗುತ್ತವೆ, ವಂಚನೆಯ ತಂತ್ರಗಳು ಬದಲಾಗುತ್ತವೆ ಮತ್ತು ಸೆನ್ಸರ್ ರೀಡಿಂಗ್ಗಳು ಡ್ರಿಫ್ಟ್ ಆಗುತ್ತವೆ. ಈ ಕಾನ್ಸೆಪ್ಟ್ ಡ್ರಿಫ್ಟ್ (concept drift) ಮುನ್ಸೂಚನಾ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು (predictive performance) ವೇಗವಾಗಿ ಕುಸಿಯುವಂತೆ ಮಾಡಬಹುದು, ಇದು ಆದಾಯವನ್ನು ತರುವ ವ್ಯವಸ್ಥೆಯನ್ನು ಹೊರೆಯನ್ನಾಗಿ ಪರಿವರ್ತಿಸಬಹುದು. ಕಂಪನಿಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಮೂರು ರೀತಿಯಲ್ಲಿ ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತವೆ: ನಿಗದಿತ ವೇಳಾಪಟ್ಟಿಯಲ್ಲಿ ಮರು-ತರಬೇತಿ ಮಾಡುವುದು, ದೋಷದ ಮಿತಿಯನ್ನು (error threshold) ಮೀರಿದಾಗ ಮರು-ತರಬೇತಿಯನ್ನು ಪ್ರಾರಂಭಿಸುವುದು, ಅಥವಾ ಡೇಟಾ ಬದಲಾವಣೆಗಳನ್ನು ಗುರುತಿಸುವ ಡ್ರಿಫ್ಟ್-ಡಿಟೆಕ್ಷನ್ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಬಳಸುವುದು. ಪ್ರತಿಯೊಂದು ವಿಧಾನವೂ ಕಂಪ್ಯೂಟ್, ಎಂಜಿನಿಯರಿಂಗ್ ಶ್ರಮ ಮತ್ತು ವಿಳಂಬದ (latency) ಬಜೆಟ್ ಅನ್ನು ಬಳಸುತ್ತದೆ, ಆದರೂ ಯಾವುದು ನಿಜವಾಗಿಯೂ ಪರಿಣಾಮಕಾರಿ ಎಂಬುದರ ಬಗ್ಗೆ ಉದ್ಯಮದಲ್ಲಿ ಹೆಚ್ಚಿನ ಒಮ್ಮತವಿಲ್ಲ.
ಅಧ್ಯಯನವು ಏನನ್ನು ಹೋಲಿಕೆ ಮಾಡಿದೆ
ಸಂಶೋಧನೆಯು ವಿವಿಧ ಸಿಂಥೆಟಿಕ್ ಮತ್ತು ನೈಜ ಡೇಟಾ ಸೆಟ್ಗಳ ಮೇಲೆ ನಾಲ್ಕು ನೀತಿಗಳನ್ನು (policies) ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದೆ:
- ಮರು-ತರಬೇತಿ ಇಲ್ಲ (No retraining) – ಮಾಡೆಲ್ ತನ್ನ ಮೂಲ ತರಬೇತಿ ಡೇಟಾ ಮೇಲೆ ಸದಾ ಚಾಲನೆಯಲ್ಲಿರುತ್ತದೆ.
- ನಿಯಮಿತ ಮರು-ತರಬೇತಿ (Periodic retraining) – ಮಾಡೆಲ್ಗಳನ್ನು ನಿಗದಿತ ವೇಳಾಪಟ್ಟಿಯಲ್ಲಿ (ದೈನಂದಿನ, ವಾರಕ್ಕೊಮ್ಮೆ ಇತ್ಯಾದಿ) ನವೀಕರಿಸಲಾಗುತ್ತದೆ.
- ದೋಷ-ಮಿತಿ ಪ್ರಚೋದನೆ (Error-threshold triggering) – ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೆಟ್ರಿಕ್ ನಿಗದಿತ ಮಿತಿಯನ್ನು ಮೀರಿದಾಗ ಮಾತ್ರ ಮರು-ತರಬೇತಿ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ.
- ಡ್ರಿಫ್ಟ್-ಡಿಟೆಕ್ಷನ್ (Drift-detection) – ಅಲ್ಗಾರಿದಮ್ಗಳು ಹರಿಯುವ ಡೇಟಾದಲ್ಲಿನ ಸಾಂಖ್ಯಿಕ ಬದಲಾವಣೆಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತವೆ ಮತ್ತು ಡ್ರಿಫ್ಟ್ ಪತ್ತೆಯಾದಾಗ ಮರು-ತರಬೇತಿಯನ್ನು ಪ್ರಾರಂಭಿಸುತ್ತವೆ.
ತಂಡವು ಪ್ರತಿಯೊಂದು ನೀತಿಯನ್ನು ಇನ್ಕ್ರಿಮೆಂಟಲ್ ಲರ್ನಿಂಗ್ ಅನ್ನು ಬೆಂಬಲಿಸುವ (ಅವುಗಳು ಹೊಸ ಡೇಟಾದೊಂದಿಗೆ ನಿರಂತರವಾಗಿ ಅಪ್ಡೇಟ್ ಆಗಬಹುದು) ಅಥವಾ ಬೆಂಬಲಿಸದ (ಅವುಗಳಿಗೆ ಪೂರ್ಣ ಮರು-ತರಬೇತಿ ಅಗತ್ಯವಿದೆ) ಮಾಡೆಲ್ಗಳ ಮೇಲೆ ಪರೀಕ್ಷಿಸಿತು.
ಆರ್ಕಿಟೆಕ್ಚರ್ ನೀತಿಗಿಂತ ಹೆಚ್ಚು ಪ್ರಮುಖವಾಗಿದೆ
ಮಾಡೆಲ್ ಇನ್ಕ್ರಿಮೆಂಟಲ್ ಲರ್ನಿಂಗ್ ಅನ್ನು ಬೆಂಬಲಿಸಿದಾಗ, ಮರು-ತರಬೇತಿ ನೀತಿಯು ಹೆಚ್ಚು ಮುಖ್ಯವಲ್ಲ ಎಂದು ಅಧ್ಯಯನವು ಕಂಡುಕೊಂಡಿದೆ—ಮಾಡೆಲ್ ನಿರಂತರವಾಗಿ ಹೊಸ ಡೇಟಾವನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ನಿಖರತೆಯನ್ನು ಕಾಯ್ದುಕೊಳ್ಳುತ್ತದೆ. ಇದಕ್ಕೆ ವ್ಯತಿರಿಕ್ತವಾಗಿ, ಸ್ಟ್ಯಾಟಿಕ್-ಟ್ರೈನಿಂಗ್ ಮಾಡೆಲ್ಗಳಿಗಾಗಿ, ನೀತಿಯ ಆಯ್ಕೆಯು ಪ್ರಯೋಗಗಳಾದ್ಯಂತ ನಿಖರತೆಯನ್ನು 15 ರಿಂದ 55 ಪ್ರತಿಶತ ಬಿಂದುಗಳಷ್ಟು ಬದಲಾಯಿಸಿತು. autrementទៀត, ಮಾಡೆಲ್ನ ತಕ್ಷಣವೇ ಕಲಿಯುವ ಸಾಮರ್ಥ್ಯವು ಪ್ರಬಲವಾಗಿರುತ್ತದೆ; ಆ ಸಾಮರ್ಥ್ಯದ ಕೊರತೆಯಿದ್ದಾಗ ಮಾತ್ರ ವೇಳಾಪಟ್ಟಿಯು ನಿರ್ಣಾಯಕವಾಗುತ್ತದೆ.
ಸ್ಟ್ಯಾಟಿಕ್ ಮಾಡೆಲ್ಗಳಿಗೆ ಸರಳತೆಯೇ ಬುದ್ಧಿವಂತಿಕೆಗಿಂತ ಉತ್ತಮ
ಇನ್ಕ್ರಿಮೆಂಟಲ್ ಆಗಿ ಕಲಿಯಲಾಗದ ಮಾಡೆಲ್ಗಳಿಗಾಗಿ, ಡ್ರಿಫ್ಟ್ ಇದ್ದದ್ದು ಹಠಾತ್ ಆಗಿದ್ದರೂ (ವಿತರಣೆಯಲ್ಲಿ ತೀವ್ರ ಬದಲಾವಣೆ) ಅಥವಾ ಕ್ರಮೇಣಿಕವಾಗಿದ್ದರೂ (ನಿಧಾನವಾದ ವಿಕಸನ), ನಿಯಮಿತ ವೇಳಾಪಟ್ಟಿಯು ದೋಷ-ಮಿತಿ ಮತ್ತು ಡ್ರಿಫ್ಟ್-ಡಿಟೆಕ್ಷನ್ ಎರಡನ್ನೂ விட ಸ್ಥಿರವಾಗಿ ಉತ್ತಮ ಪ್ರದರ್ಶನ ನೀಡಿತು. "ಬುದ್ಧಿವಂತ" ಪೈಪ್ಲೈನ್ಗಳಿಗೆ ಹೆಚ್ಚಿನ ಮೇಲ್ವಿಚಾರಣಾ ಮೂಲಸೌಕರ್ಯ ಮತ್ತು ಟ್ಯೂನಿಂಗ್ ಅಗತ್ಯವಿತ್ತು, ಮತ್ತು ಅವು ತಾವೇ ತರುವ ವಿಳಂಬವನ್ನು (latency) ಸರಿದೂಗಿಸಲು ಡ್ರಿಫ್ಟ್ ಅನ್ನು ಸಾಕಷ್ಟು ಮೊದಲೇ ಪತ್ತೆಹಚ್ಚುವಲ್ಲಿ ವಿಫಲವಾದವು. ಊಹಿಸಬಹುದಾದ ಅಂಶವು ನಿರ್ಣಾಯಕ ಪ್ರಯೋಜನವಾಗಿ ಹೊರಹೊಮ್ಮಿತು: ತಂಡಗಳು ಸಂಪನ್ಮೂಲಗಳನ್ನು ಮೊದಲೇ ಹಂಚಿಕೆ ಮಾಡಬಹುದು ಮತ್ತು ಪ್ರತಿಕ್ರಿಯಾತ್ಮಕ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿನ (reactive systems) "ಕಾಯುವ ಮತ್ತು ನೋಡುವ" ವಿಳಂಬವನ್ನು ತಪ್ಪಿಸಬಹುದು.
ಕಂಪ್ಯೂಟ್ ಬಜೆಟ್ ಮತ್ತು ವಿಳಂಬವನ್ನು ಬೇರ್ಪಡಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ
ಮರು-ತರಬೇತಿಯು ಉಚಿತವಾಗಿ ಸಿಗುವುದಿಲ್ಲ. ಪ್ರಯೋಗಗಳು ಒಟ್ಟಾರೆ ಕಂಪ್ಯೂಟ್ ಬಜೆಟ್ ಮೇಲೆ ಮರು-ತರಬೇತಿಯ ಅವಧಿಯ ಪ್ರಭಾವವನ್ನು ಅಳೆಯಿತು. ವಿಳಂಬ ಮತ್ತು ಬಜೆಟ್ ಅನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಮಾಡೆಲ್ ಮಾಡಿದಾಗ, ತಂಡಗಳು ನಿರೀಕ್ಷಿತ ಮರು-ತರಬೇತಿ ಸಾಮರ್ಥ್ಯದ ಅರ್ಧದಷ್ಟು ಮಾತ್ರ ಪಡೆಯುವಂತಾಯಿತು—ದೀರ್ಘ ತರಬೇತಿ ಪ್ರಕ್ರಿಯೆಗಳ ಗುಪ್ತ ವೆಚ್ಚವು ಇನ್ಫರೆನ್ಸ್ (inference) ಗಾಗಿ ಮೀಸಲಿಟ್ಟ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಕುಸಿಯುವಂತೆ ಮಾಡಿತು. ಇದರ ಸಾರಾಂಶ ಸ್ಪಷ್ಟವಾಗಿದೆ: ಯಾವುದೇ ಮರು-ತರಬೇತಿ ತಂತ್ರವನ್ನು ಕೇವಲ ನಿಖರತೆಯ ಹೆಚ್ಚಳವಾಗಿ ನೋಡದೆ, ಅದರ ಸಮಯ ಮತ್ತು ಕಂಪ್ಯೂಟ್ ವೆಚ್ಚದೊಂದಿಗೆ ಒಟ್ಟಾಗಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ.
ಸಂಶೋಧನೆಯ ಫಲಿತಾಂಶಗಳು ನೈಜ ಪ್ರಪಂಚದ ಬಳಕೆಗಳಿಗೆ ಹೇಗೆ ಅನ್ವಯಿಸುತ್ತವೆ
- ವಂಚನೆ ಪತ್ತೆಹಚ್ಚುವಿಕೆ (Fraud detection) – ವಂಚನೆಯ ಮಾದರಿಗಳು ವೇಗವಾಗಿ ಬದಲಾಗುತ್ತವೆ, ಆದರೆ ದಾಳಿಗಳ ಹಿಂದೆ ಉಳಿಯಬಹುದಾದ ಕಸ್ಟಮ್ ಡ್ರಿಫ್ಟ್-ಡಿಟೆಕ್ಷನ್ ಪೈಪ್ಲೈನ್ ಅನ್ನು ನಿರ್ಮಿಸುವ ಬದಲು ಶಿಸ್ತುಬದ್ಧ ನಿಯಮಿತ ಚಟುವಟಿಕೆ (ಉದಾಹರಣೆಗೆ, ಪ್ರತಿ ರಾತ್ರಿ) ಹೆಚ್ಚು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿದೆ ಎಂದು ಅಧ್ಯಯನವು ಸೂಚಿಸುತ್ತದೆ.
- ವೈಯಕ್ತೀಕರಣ (Personalization) – ಇಲ್ಲಿ ಆದ್ಯತೆಯು ಮಾಡೆಲ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಆಗಿದೆ. ಇನ್ಕ್ರಿಮೆಂಟಲ್-ಲರ್ನಿಂಗ್ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು (online gradient updates, streaming factorization, ಇತ್ಯಾದಿ) ನಿಯೋಜಿಸಿ. ಮಾಡೆಲ್ ಹೊಸ ಸಂವಹನಗಳನ್ನು ನಿರಂತರವಾಗಿ ಸ್ವೀಕರಿಸಲು ಸಾಧ್ಯವಾದಾಗ, ವೇಳಾಪಟ್ಟಿಯ ಬಗ್ಗೆ ಚರ್ಚೆಯ ಅಗತ್ಯವಿರುವುದಿಲ್ಲ.
- ಮುನ್ಸೂಚನೆ (Forecasting) – ಸಮಯ-ಸರಣಿ ಮುನ್ಸೂಚನೆಗಳಿಗೆ (Time-series forecasts) ಹೆಚ್ಚಾಗಿ ಭಾರೀ ಮಾಡೆಲ್ಗಳು (ಉದಾಹರಣೆಗೆ, deep LSTMs) ಬೇಕಾಗುತ್ತವೆ, ಇವುಗಳನ್ನು ಇನ್ಕ್ರಿಮೆಂಟಲ್ ಆಗಿ ಅಪ್ಡೇಟ್ ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ. ಅಂತಹ ಸಂದರ್ಭಗಳಲ್ಲಿ, ಬಜೆಟ್ ಯೋಜನೆಯು ಸಂಪೂರ್ಣ ತರಬೇತಿ ಅವಧಿಯನ್ನು ಒಳಗೊಂಡಿರಬೇಕು; ಇಲ್ಲದಿದ್ದರೆ, ವ್ಯವಸ್ಥೆಯು ಅದು ಮುನ್ಸೂಚನೆ ನೀಡಲು ಬಯಸುವ ಡೇಟಾದಿಂದ ಹಿಂದೆ ಬೀಳುತ್ತದೆ.
ಅಂತಿಮ ತೀರ್ಮಾನ
ನಿಮ್ಮ ಮಾಡೆಲ್ ಇನ್ಕ್ರಿಮೆಂಟಲ್ ಆಗಿ ಕಲಿಯಬಲ್ಲದಾಗಿದ್ದರೆ, ಆ ಸಾಮರ್ಥ್ಯದಲ್ಲಿ ಹೂಡಿಕೆ ಮಾಡಿ ಮತ್ತು ಡೇಟಾವನ್ನು ಹರಿಯಲು ಬಿಡಿ. ಅದು ಸಾಧ್ಯವಾಗದಿದ್ದರೆ, ಸಂಕೀರ್ಣವಾದ ಡ್ರಿಫ್ಟ್-ಡಿಟೆಕ್ಷನ್ ಪೈಪ್ಲೈನ್ಗಳನ್ನು ಕೈಬಿಡಿ ಮತ್ತು ಕಂಪ್ಯೂಟ್ ಮತ್ತು ವಿಳಂಬದ ವೆಚ್ಚಗಳನ್ನು ಮೊದಲೇ ಪರಿಗಣಿಸಿ ನಿಯಮಿತ, ಊಹಿಸಬಹುದಾದ ಮರು-ತರಬೇತಿ ವೇಳಾಪಟ್ಟಿಯನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳಿ. ಸಾವಿರಾರು ಪ್ರಯೋಗಗಳಿಂದ ಬೆಂಬಲಿತವಾದ ಅತ್ಯಂತ ಸರಳ ವಿಧಾನವು, ಅತಿಯಾದ ಇಂಜಿನಿಯರಿಂಗ್ ಮಾಡಿದ ಪರಿಹಾರಗಳ ಗುಪ್ತ ವೆಚ್ಚವಿಲ್ಲದೆ ಹೆಚ್ಚಿನ ನಿಖರತೆಯನ್ನು ನೀಡುತ್ತದೆ.