Sawan Dasari ਦੁਆਰਾ ਕੀਤਾ ਗਿਆ ਇੱਕ ਨਵਾਂ arXiv ਅਧਿਐਨ, ਜੋ 4,000 ਪ੍ਰਯੋਗਾਂ 'ਤੇ ਅਧਾਰਤ ਹੈ, ਇਹ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਜ਼ਿਆਦਾਤਰ ਮਸ਼ੀਨ-ਲਰਨਿੰਗ ਵਰਕਲੋਡਸ ਲਈ ਇੱਕ ਅਨੁਮਾਨਿਤ ਸਮੇਂ-ਬੱਧ ਰੀ-ਟ੍ਰੇਨਿੰਗ ਸ਼ਡਿਊਲ (periodic-retraining schedule), ਉੱਨਤ ਡ੍ਰਿਫਟ-ਡਿਟੈਕਸ਼ਨ ਪਾਈਪਲਾਈਨਾਂ ਨਾਲੋਂ ਬਿਹਤਰ ਹੈ—ਜਦੋਂ ਤੱਕ ਕਿ ਮਾਡਲ ਇਨਕਰੀਮੈਂਟਲ ਲਰਨਿੰਗ (incremental learning) ਨਹੀਂ ਕਰ ਸਕਦਾ।
ਰੀ-ਟ੍ਰੇਨਿੰਗ ਦਾ ਸਵਾਲ ਹੁਣ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ
ਇੱਕ ਵਾਰ ਮਾਡਲ ਤੈਨਾਤ (deploy) ਹੋਣ ਤੋਂ ਬਾਅਦ, ਅਸਲ-ਦੁਨੀਆ ਦਾ ਡਾਟਾ ਬਹੁਤ ਘੱਟ ਹੀ ਸਥਿਰ ਰਹਿੰਦਾ ਹੈ। ਗਾਹਕਾਂ ਦੀਆਂ ਪਸੰਦਾਂ ਬਦਲਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ, ਧੋਖਾਧੜੀ ਦੇ ਤਰੀਕੇ ਬਦਲਦੇ ਹਨ, ਅਤੇ ਸੈਂਸਰ ਰੀਡਿੰਗਜ਼ ਵਿੱਚ ਡ੍ਰਿਫਟ ਆਉਂਦਾ ਹੈ। ਇਹ ਕੰਸੈਪਟ ਡ੍ਰਿਫਟ (concept drift) ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਵਾਲੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਘਟਾ ਸਕਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਮਾਲੀਆ ਪੈਦਾ ਕਰਨ ਵਾਲਾ ਸਿਸਟਮ ਇੱਕ ਦੇਣਦਾਰੀ (liability) ਬਣ ਸਕਦਾ ਹੈ। ਕੰਪਨੀਆਂ ਆਮ ਤੌਰ 'ਤੇ ਤਿੰਨ ਤਰੀਕਿਆਂ ਵਿੱਚੋਂ ਇੱਕ ਨਾਲ ਪ੍ਰਤੀਕਿਰਿਆ ਦਿੰਦੀਆਂ ਹਨ: ਇੱਕ ਨਿਸ਼ਚਿਤ ਸਮੇਂ ਸਾਰੀ ਰੀ-ਟ੍ਰੇਨਿੰਗ ਕਰਨਾ, ਗਲਤੀ ਦੀ ਸੀਮਾ (error threshold) ਲੰਘਣ 'ਤੇ ਰੀ-ਟ੍ਰੇਨਿੰਗ ਸ਼ੁਰੂ ਕਰਨਾ, ਜਾਂ ਇੱਕ ਡ੍ਰਿਫਟ-ਡਿਟੈਕਸ਼ਨ ਐਲਗੋਰਿਦਮ ਚਲਾਉਣਾ ਜੋ ਡਾਟਾ ਵਿੱਚ ਬਦਲਾਅ ਨੂੰ ਫੜ ਲੈਂਦਾ ਹੈ। ਹਰੇਕ ਪਹੁੰਚ ਕੰਪਿਊਟ, ਇੰਜੀਨੀਅਰਿੰਗ ਕੋਸ਼ਿਸ਼, ਅਤੇ ਲੇਟੈਂਸੀ ਬਜਟ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ, ਫਿਰ ਵੀ ਉਦਯੋਗ ਵਿੱਚ ਇਸ ਗੱਲ 'ਤੇ ਬਹੁਤਾ ਸਹਿਮਤੀ ਨਹੀਂ ਹੈ ਕਿ ਕਿਹੜਾ ਤਰੀਕਾ ਸੱਚਮੁੱਚ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੈ।
ਅਧਿਐਨ ਨੇ ਕਿਸ ਦੀ ਤੁਲਨਾ ਕੀਤੀ
ਖੋਜ ਨੇ ਸਿੰਥੈਟਿਕ ਅਤੇ ਅਸਲ ਡੇਟਾਸੈਟਾਂ ਦੇ ਇੱਕ ਵਿਸ਼ਾਲ ਸਮੂਹ ਵਿੱਚ ਚਾਰ ਨੀਤੀਆਂ ਦਾ ਮੁਲਾਂਕਣ ਕੀਤਾ:
- ਕੋਈ ਰੀ-ਟ੍ਰੇਨਿੰਗ ਨਹੀਂ – ਮਾਡਲ ਆਪਣੇ ਅਸਲ ਟ੍ਰੇਨਿੰਗ ਡਾਟਾ 'ਤੇ ਹਮੇਸ਼ਾ ਲਈ ਚੱਲਦਾ ਰਹਿੰਦਾ ਹੈ।
- ਸਮੇਂ-ਬੱਧ ਰੀ-ਟ੍ਰੇਨਿੰਗ (Periodic retraining) – ਮਾਡਲਾਂ ਨੂੰ ਇੱਕ ਨਿਸ਼ਚਿਤ ਸ਼ਡਿਊਲ (ਰੋਜ਼ਾਨਾ, ਹਫ਼ਤਾਵਾਰੀ, ਆਦਿ) 'ਤੇ ਤਾਜ਼ਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
- ਐਰਰ-ਥ੍ਰੈਸ਼ਹੋਲਡ ਟ੍ਰਿਗਰਿੰਗ (Error-threshold triggering) – ਰੀ-ਟ੍ਰੇਨਿੰਗ ਉਦੋਂ ਹੀ ਸ਼ੁਰੂ ਹੁੰਦੀ ਹੈ ਜਦੋਂ ਪ੍ਰਦਰਸ਼ਨ ਮਾਪਦੰਡ (performance metric) ਇੱਕ ਪਹਿਲਾਂ ਤੋਂ ਨਿਰਧਾਰਤ ਸੀਮਾ ਤੋਂ ਵੱਧ ਜਾਂਦਾ ਹੈ।
- ਡ੍ਰਿਫਟ-ਡਿਟੈਕਸ਼ਨ (Drift-detection) – ਇੱਕ ਐਲਗੋਰਿਦਮ ਅੰਕੜਾਤਮਕ ਬਦਲਾਅ ਲਈ ਆਉਣ ਵਾਲੇ ਡਾਟਾ ਦੀ ਨਿਗਰਾਨੀ ਕਰਦਾ ਹੈ ਅਤੇ ਡ੍ਰਿਫਟ ਦਾ ਪਤਾ ਲੱਗਣ 'ਤੇ ਰੀ-ਟ੍ਰੇਨਿੰਗ ਸ਼ੁਰੂ ਕਰ ਦਿੰਦਾ ਹੈ।
ਟੀਮ ਨੇ ਹਰੇਕ ਨੀਤੀ ਦਾ ਮਾਡਲਾਂ 'ਤੇ ਟੈਸਟ ਕੀਤਾ ਜੋ ਜਾਂ ਤਾਂ ਇਨਕਰੀਮੈਂਟਲ ਲਰਨਿੰਗ ਦਾ ਸਮਰਥਨ ਕਰਦੇ ਹਨ (ਉਹ ਨਵੇਂ ਡਾਟਾ ਨਾਲ ਲਗਾਤਾਰ ਅਪਡੇਟ ਹੋ ਸਕਦੇ ਹਨ) ਜਾਂ ਨਹੀਂ ਕਰ ਸਕਦੇ (ਉਨ੍ਹਾਂ ਨੂੰ ਪੂਰੀ ਰੀ-ਟ੍ਰੇਨਿੰਗ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ)।
ਆਰਕੀਟੈਕਚਰ ਨੀਤੀ ਨਾਲੋਂ ਵੱਧ ਮਹੱਤਵਪੂਰਨ ਹੈ
ਜਦੋਂ ਕੋਈ ਮਾਡਲ ਇਨਕਰੀਮੈਂਟਲ ਲਰਨਿੰਗ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਤਾਂ ਅਧਿਐਨ ਵਿੱਚ ਪਾਇਆ ਗਿਆ ਕਿ ਰੀ-ਟ੍ਰੇਨਿੰਗ ਨੀਤੀ ਦਾ ਬਹੁਤਾ ਅਸਰ ਨਹੀਂ ਪੈਂਦਾ—ਮਾਡਲ ਲਗਾਤਾਰ ਤਾਜ਼ਾ ਡਾਟਾ ਸ਼ਾਮਲ ਕਰਦਾ ਹੈ ਅਤੇ ਸ਼ੁੱਧਤਾ (accuracy) ਬਣਾਈ ਰੱਖਦਾ ਹੈ। ਇਸ ਦੇ ਉਲਟ, ਸਟੈਟਿਕ-ਟ੍ਰੇਨਿੰਗ ਮਾਡਲਾਂ ਲਈ, ਨੀਤੀ ਦੀ ਚੋਣ ਨੇ ਪ੍ਰਯੋਗਾਂ ਦੌਰਾਨ ਸ਼ੁੱਧਤਾ ਨੂੰ 15 ਤੋਂ 55 ਪ੍ਰਤੀਸ਼ਤ ਬਿੰਦੂਆਂ ਤੱਕ ਬਦਲ ਦਿੱਤਾ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਮਾਡਲ ਦੀ ਤੁਰੰਤ ਸਿੱਖਣ ਦੀ ਯੋਗਤਾ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੁੰਦੀ ਹੈ; ਸ਼ਡਿਊਲ ਉਦੋਂ ਹੀ ਮਹੱਤਵਪੂਰਨ ਹੋ ਜਾਂਦਾ ਹੈ ਜਦੋਂ ਉਹ ਸਮਰੱਥਾ ਮੌਜੂਦ ਨਹੀਂ ਹੁੰਦੀ।
ਸਟੈਟਿਕ ਮਾਡਲਾਂ ਲਈ ਸਰਲ ਤਰੀਕਾ ਸਮਾਰਟ ਤਰੀਕੇ ਨਾਲੋਂ ਬਿਹਤਰ ਹੈ
ਉਹਨਾਂ ਮਾਡਲਾਂ ਲਈ ਜੋ ਇਨਕਰੀਮੈਂਟਲ ਤਰੀਕੇ ਨਾਲ ਨਹੀਂ ਸਿੱਖ ਸਕਦੇ, ਸਮੇਂ-ਬੱਧ ਸ਼ਡਿਊਲ ਨੇ ਲਗਾਤਾਰ ਐਰਰ-ਥ੍ਰੈਸ਼ਹੋਲਡ ਅਤੇ ਡ੍ਰਿਫਟ-ਡਿਟੈਕਸ਼ਨ ਦੋਵਾਂ ਵਿਧੀਆਂ ਨਾਲੋਂ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ, ਚਾਹੇ ਡ੍ਰਿਫਟ ਅਚਾਨਕ ਹੋਵੇ (ਵੰਡ ਵਿੱਚ ਤੇਜ਼ੀ ਨਾਲ ਬਦਲਾਅ) ਜਾਂ ਹੌਲੀ-ਹੌਲੀ (ਹੌਲੀ ਵਿਕਾਸ)। "ਸਮਾਰਟ" ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਵਾਧੂ ਨਿਗਰਾਨੀ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਅਤੇ ਟਿਊਨਿੰਗ ਦੀ ਲੋੜ ਸੀ, ਅਤੇ ਉਹ ਲੇਟੈਂਸੀ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਕਾਫ਼ੀ ਜਲਦੀ ਡ੍ਰਿਫਟ ਨੂੰ ਫੜਨ ਵਿੱਚ ਸ਼ਾਇਦ ਹੀ ਕਦੇ ਸਫਲ ਹੋਈਆਂ। ਅਨੁਮਾਨਯੋਗਤਾ (Predictability) ਇੱਕ ਨਿਰਣਾਇਕ ਫਾਇਦਾ ਸਾਬਤ ਹੋਈ: ਟੀਮਾਂ ਸਮੇਂ ਤੋਂ ਪਹਿਲਾਂ ਸਰੋਤ ਅਲਾਟ ਕਰ ਸਕਦੀਆਂ ਸਨ ਅਤੇ ਪ੍ਰਤੀਕਿਰਿਆਸ਼ੀਲ (reactive) ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਮੌਜੂਦ "ਵੇਟ-ਐਂਡ-ਸੀ" ਦੇਰੀ ਤੋਂ ਬਚ ਸਕਦੀਆਂ ਸਨ।
ਕੰਪਿਊਟ ਬਜਟ ਅਤੇ ਲੇਟੈਂਸੀ ਅਟੁੱਟ ਹਨ
ਰੀ-ਟ੍ਰੇਨਿੰਗ ਮੁਫ਼ਤ ਨਹੀਂ ਹੈ। ਪ੍ਰਯੋਗਾਂ ਨੇ ਸਮੁੱਚੇ ਕੰਪਿਊਟ ਬਜਟ 'ਤੇ ਰੀ-ਟ੍ਰੇਨਿੰਗ ਦੀ ਮਿਆਦ ਦੇ ਪ੍ਰਭਾਵ ਨੂੰ ਮਾਪਿਆ। ਜਦੋਂ ਲੇਟੈਂਸੀ ਅਤੇ ਬਜਟ ਨੂੰ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਮਾਪਿਆ ਗਿਆ, ਤਾਂ ਟੀਮਾਂ ਕੋਲ ਉਮੀਦ ਕੀਤੇ ਰੀ-ਟ੍ਰੇਨਿੰਗ ਸਮਰੱਥਾ ਦਾ ਲਗਭਗ ਅੱਧਾ ਹੀ ਰਿਹਾ—ਲੰਬੇ ਟ੍ਰੇਨਿੰਗ ਸਮੇਂ ਦੀ ਲੁਕੀ ਹੋਈ ਲਾਗਤ ਨੇ ਇਨਫਰੈਂਸ (inference) ਲਈ ਰਾਖਵੇਂ ਕੀਤੇ ਸਰੋਤਾਂ ਨੂੰ ਖਤਮ ਕਰ ਦਿੱਤਾ। ਸਿੱਖਿਆ ਸਪੱਸ਼ਟ ਹੈ: ਕਿਸੇ ਵੀ ਰੀ-ਟ੍ਰੇਨਿੰਗ ਰਣਨੀਤੀ ਦਾ ਮੁਲਾਂਕਣ ਉਸਦੀ ਸਮਾਂ ਅਤੇ ਕੰਪਿਊਟ ਲਾਗਤ ਦੇ ਨਾਲ ਕਰੋ, ਨਾ ਕਿ ਸਿਰਫ਼ ਇੱਕ ਵੱਖਲੀ ਸ਼ੁੱਧਤਾ ਵਾਧੇ ਵਜੋਂ।
ਖੋਜ ਦੇ ਨਤੀਜੇ ਅਸਲ-ਦੁਨੀਆ ਦੇ ਵਰਤੋਂ ਦੇ ਮਾਮਲਿਆਂ ਵਿੱਚ ਕਿਵੇਂ ਲਾਗੂ ਹੁੰਦੇ ਹਨ
- ਧੋਖਾਧੜੀ ਦੀ ਪਛਾਣ (Fraud detection) – ਧੋਖਾਧੜੀ ਦੇ ਪੈਟਰਨ ਤੇਜ਼ੀ ਨਾਲ ਬਦਲਦੇ ਹਨ, ਪਰ ਅਧਿਐਨ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ