Pandora's AI Model Routing Box
DeepMind ਦਾ ਨਵਾਂ ਪੇਪਰ ਇੱਕ "Pandora’s Box" ਫਰੇਮਵਰਕ ਦਾ ਪ੍ਰਸਤਾਵ ਦਿੰਦਾ ਹੈ ਜੋ ਕੰਮ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਬਦਲੇ ਬਿਨਾਂ ਰੂਟਿੰਗ ਦੇ ਵਾਧੂ ਖਰਚੇ (overhead) ਨੂੰ 70% ਤੱਕ ਘਟਾ ਦਿੰਦਾ ਹੈ।
ਰੂਟਿੰਗ ਦੀ ਲਾਗਤ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ
ਜਦੋਂ ਕਿਸੇ ਸਰਵਿਸ ਨੂੰ ਕੋਈ ਰਿਕਵੈਸਟ ਮਿਲਦੀ ਹੈ, ਤਾਂ ਅਕਸਰ ਉਸ ਕੋਲ ਮਾਡਲਾਂ ਦੀ ਇੱਕ ਸੂਚੀ ਹੁੰਦੀ ਹੈ—ਕੁਝ ਤੇਜ਼ ਪਰ ਘੱਟ ਸਟੀਕ, ਅਤੇ ਕੁਝ ਹੌਲੀ ਪਰ ਬਹੁਤ ਸਟੀਕ। ਸਭ ਤੋਂ ਵਧੀਆ ਮਾਡਲ ਦੀ ਚੋਣ ਕਰਨ ਲਈ ਕੰਪਿਊਟਿੰਗ ਅਤੇ ਪੈਸੇ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਹ ਜਾਣਨ ਤੋਂ ਪਹਿਲਾਂ ਕਿ ਕਿਹੜਾ ਮਾਡਲ ਢੁਕਵਾਂ ਹੈ, ਤੁਹਾਨੂੰ ਇੱਕ ਤੇਜ਼ ਟੈਸਟ ਕਰਨਾ ਪੈਂਦਾ ਹੈ, ਬਾਹਰੀ ਡੇਟਾ ਪ੍ਰਾਪਤ ਕਰਨਾ ਪੈਂਦਾ ਹੈ, ਜਾਂ ਕਿਸੇ ਸਹਾਇਕ ਟੂਲ ਦੀ ਵਰਤੋਂ ਕਰਨੀ ਪੈਂਦੀ ਹੈ।
Pandora’s Box ਦੀ ਉਦਾਹਰਨ
DeepMind ਰੂਟਿੰਗ ਦੀ ਸਮੱਸਿਆ ਨੂੰ ਕਲਾਸਿਕ Pandora’s Box ਦੀ ਬੁਝਾਰਤ ਨਾਲ ਜੋੜਦਾ ਹੈ: ਹਰ ਮਾਡਲ ਇੱਕ ਸੀਲਬੰਦ ਡੱਬਾ ਹੈ ਜੋ ਮੌਜੂਦਾ ਕੁਐਰੀ (query) 'ਤੇ ਆਪਣੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਛੁਪਾ ਕੇ ਰੱਖਦਾ ਹੈ। ਇੱਕ ਡੱਬਾ ਖੋਲ੍ਹਣ ਨਾਲ ਸਰੋਤਾਂ ਦੀ ਵਰਤੋਂ ਹੁੰਦੀ ਹੈ, ਇਸ ਲਈ ਤੁਹਾਨੂੰ ਇਹ ਫੈਸਲਾ ਕਰਨਾ ਪੈਂਦਾ ਹੈ ਕਿ ਕੀ ਸੰਭਾਵਿਤ ਫਾਇਦਾ ਖਰਚੇ ਦੇ ਬਰਾਬਰ ਹੈ। ਇਹ ਫਰੇਮਵਰਕ ਇਸ ਸਮਝੌਤੇ (trade-off) ਨੂੰ ਰੂਪ ਦਿੰਦਾ ਹੈ ਅਤੇ ਦੋ ਵਿਸ਼ੇਸ਼ ਵਿਧੀਆਂ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
Pandora’s Router – ਇੱਕ ਕੇਂਦਰੀਕ੍ਰਿਤ ਫੈਸਲਾ ਲੈਣ ਵਾਲਾ
ਰੂਟਰ ਪਹਿਲਾਂ ਮਾਡਲ ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਮਾਪਣ ਲਈ ਇੱਕ ਸਸਤਾ ਅਤੇ ਘੱਟ ਸਟੀਕ ਅਨੁਮਾਨਕ (estimator) ਚਲਾਉਂਦਾ ਹੈ। ਜੇਕਰ ਮੌਜੂਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਮਾਡਲ ਨਾਲੋਂ ਉਮੀਦ ਕੀਤੀ ਸੁਧਾਰ ਦੀ ਮਾਤਰਾ ਇੱਕ ਨਿਰਧਾਰਤ "reservation price" ਤੋਂ ਵੱਧ ਹੁੰਦੀ ਹੈ, ਤਾਂ ਹੀ ਇਹ ਵਧੇਰੇ ਸਟੀਕ ਮੁਲਾਂਕਣ ਲਈ ਖਰਚਾ ਕਰਦਾ ਹੈ। ਹਰ ਮਾਡਲ ਦੀ ਜਾਂਚ ਕਰਨ ਤੋਂ ਇਨਕਾਰ ਕਰਕੇ, ਰੂਟਰ ਜਾਂਚ ਦੇ ਬਜਟ ਨੂੰ ਕਾਫੀ ਘਟਾ ਦਿੰਦਾ ਹੈ ਅਤੇ ਫਿਰ ਵੀ ਸਭ ਤੋਂ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰਨ ਵਾਲਾ ਵਿਕਲਪ ਸਾਹਮਣੇ ਲਿਆਉਂਦਾ ਹੈ।
Pandora’s Bidder – ਇੱਕ ਵਿਕੇਂਦਰੀਕ੍ਰਿਤ ਮਾਰਕੀਟਪਲੇਸ
ਬਿਡਰ (bidder) ਵੇਰੀਐਂਟ ਵਿੱਚ, ਹਰ ਮਾਡਲ ਪ੍ਰਦਾਤਾ ਇਹ ਫੈਸਲਾ ਕਰਦਾ ਹੈ ਕਿ ਕੀ ਉਹ ਆਪਣੇ ਆਪ ਦੇ ਮੁਲਾਂਕਣ 'ਤੇ ਪੈਸੇ ਖਰਚ ਕਰਨਾ ਚਾਹੁੰਦਾ ਹੈ ਤਾਂ ਜੋ ਕੋਈ ਕੰਟਰੈਕਟ ਜਿੱਤ ਸਕੇ। ਪ੍ਰਦਾਤਾ ਕੇਵਲ ਉਦੋਂ ਹੀ ਬੋਲੀ (bid) ਲਗਾਉਂਦੇ ਹਨ ਜਦੋਂ ਉਹ ਉਮੀਦ ਕਰਦੇ ਹਨ ਕਿ ਜਿੱਤਣ ਦੀ ਸੰਭਾਵਨਾ ਮੁਲਾਂਕਣ ਦੀ ਲਾਗਤ ਨਾਲੋਂ ਵੱਧ ਹੋਵੇਗੀ। ਇਹ ਇੱਕ ਅਜਿਹਾ ਬਾਜ਼ਾਰ ਬਣਾਉਂਦਾ ਹੈ ਜਿੱਥੇ ਮਹਿੰਗੇ ਮੁਲਾਂਕਣ ਕੇਵਲ ਉਦੋਂ ਹੀ ਹੁੰਦੇ ਹਨ ਜਦੋਂ ਫਾਇਦਾ ਕਾਫੀ ਜ਼ਿਆਦਾ ਹੋਵੇ।
ਤਿੰਨ ਖੇਤਰਾਂ ਵਿੱਚ ਨਤੀਜੇ
ਲੇਖਕਾਂ ਨੇ ਦੋਵੇਂ ਵਿਧੀਆਂ ਦਾ ਟੈਸਟ ਕੀਤਾ:
- Math reasoning – ਉਸ ਮਾਡਲ ਦੀ ਚੋਣ ਕਰਨਾ ਜੋ ਸਮੱਸਿਆ ਨੂੰ ਸਭ ਤੋਂ ਸਹੀ ਤਰੀਕੇ ਨਾਲ ਹੱਲ ਕਰਦਾ ਹੈ।
- Retrieval-augmented generation (RAG) – ਉਸ ਰਿਟ੍ਰੀਵਲ ਸਿਸਟਮ ਦੀ ਚੋਣ ਕਰਨਾ ਜੋ ਭਾਸ਼ਾ ਮਾਡਲ ਦੁਆਰਾ ਉੱਤਰ ਦੇਣ ਤੋਂ ਪਹਿਲਾਂ ਸਭ ਤੋਂ ਢੁਕਵਾਂ ਸੰਦਰਭ (context) ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
- Large-scale embedding selection – ਉਸ ਇਨਕੋਡਰ ਦੀ ਚੋਣ ਕਰਨਾ ਜੋ ਸਮਾਨਤਾ ਖੋਜ (similarity search) ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਵੈਕਟਰ ਰਿਪ੍ਰਜ਼ੈਂਟੇਸ਼ਨ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਹਰ ਮਾਮਲੇ ਵਿੱਚ, Pandora’s Router ਨੇ ਸਭ ਤੋਂ ਘੱਟ ਕੁੱਲ ਲਾਗਤ-ਅਤੇ-ਗਲਤੀ (cost-plus-error) ਮੈਟ੍ਰਿਕ ਦਰਜ ਕੀਤੀ, ਜਿਸ ਨੇ ਉਹਨਾਂ ਬੇਸਲਾਈਨਾਂ ਨੂੰ ਪਛਾੜ ਦਿੱਤਾ ਜੋ ਹਮੇਸ਼ਾ ਹਰ ਮਾਡਲ ਦੀ ਜਾਂਚ ਕਰਦੇ ਹਨ ਜਾਂ ਕਦੇ ਵੀ ਜਾਂਚ ਨਹੀਂ ਕਰਦੇ। ਸਿਸਟਮ ਆਪਣੇ ਆਪ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾ ਲੈਂਦਾ ਹੈ: ਜਦੋਂ ਜਾਂਚ ਦੀ ਲਾਗਤ ਵਧਦੀ ਹੈ, ਤਾਂ ਇਹ ਘੱਟ ਮਾਡਲਾਂ ਦੀ ਜਾਂਚ ਕਰਦਾ ਹੈ; ਜਦੋਂ ਇਹ ਘਟਦੀ ਹੈ, ਤਾਂ ਇਹ ਜਾਂਚ ਵਧਾ ਦਿੰਦਾ ਹੈ। ਰੂਟਿੰਗ ਖਰਚਿਆਂ ਵਿੱਚ 30% ਤੋਂ 70% ਤੱਕ ਦੀ ਬਚਤ ਦਰਜ ਕੀਤੀ ਗਈ ਹੈ, ਜਿਸ ਨਾਲ ਅਗਲੇ ਕੰਮਾਂ (downstream tasks) ਦੀ ਗੁਣਵੱਤਾ ਵਿੱਚ ਕੋਈ ਮਾਪਣਯੋਗ ਗਿਰਾਵਟ ਨਹੀਂ ਆਈ ਹੈ।
ਸਿੱਖਿਆ (Takeaway): ਜਿਵੇਂ-ਜਿਵੇਂ ਇਨਫਰੈਂਸ ਬਜਟ ਵਧ ਰਹੇ ਹਨ, ਇੱਕ ਬਿਹਤਰ ਮਾਡਲ ਦੀ ਭਾਲ ਕਦੋਂ ਰੋਕਣੀ ਹੈ, ਇਹ ਫੈਸਲਾ ਕਰਨਾ ਮਾਡਲ ਦੀ ਚੋਣ ਕਰਨ ਜਿੰਨਾ ਹੀ ਮਹੱਤਵਪੂਰਨ ਹੋ ਜਾਂਦਾ ਹੈ। Pandora’s Box ਇੱਕ ਲੁਕਵੇਂ ਖਰਚੇ ਨੂੰ ਇੱਕ ਕੰਟਰੋਲਯੋਗ ਲੀਵਰ ਵਿੱਚ ਬਦਲ ਦਿੰਦਾ ਹੈ।