Title: Google ਦਾ EnvHarness ਏਜੰਟ ਬੈਂਚਮਾਰਕਸ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ
Google ਨੇ EnvHarness ਦਾ अनाਹਰਣ ਕੀਤਾ ਹੈ, ਜੋ ਕਿ ਇੱਕ ਪ੍ਰੋਗਰਾਮਯੋਗ ਲੇਅਰ (programmable layer) ਹੈ ਜੋ ਸਥਿਰ (static) AI-ਏਜੰਟ ਬੈਂਚਮਾਰਕਸ ਨੂੰ ਅਨੁਕੂਲਿਤ ਟੈਸਟਾਂ (adaptive tests) ਵਿੱਚ ਬਦਲ ਦਿੰਦੀ ਹੈ, ਅਤੇ ਰੱਖੇ ਗਏ (held-out) ਕਾਰਜਾਂ 'ਤੇ 9-ਪੁਆਇੰਟ ਤੱਕ ਦਾ ਵਾਧਾ ਦਰਜ ਕੀਤਾ ਹੈ। ਇਹ ਵਾਧਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਏਜੰਟ ਰੱਟਾ ਮਾਰਨ ਤੋਂ ਅੱਗੇ ਵਧ ਕੇ ਅਸਲ ਸਮੱਸਿਆ-ਸੁਲਝਾਉਣ ਵੱਲ ਵਧ ਸਕਦੇ ਹਨ, ਜੋ ਕਿ ਅਸਲ ਦੁਨੀਆ ਵਿੱਚ ਤਾਇਨਾਤੀ (deployment) ਦੇ ਇੱਕ ਕਦਮ ਹੋਰ ਨੇੜੇ ਹੈ।
ਸਥਿਰ ਬੈਂਚਮਾਰਕਸ ਕਿਉਂ ਅਧੂਰੇ ਰਹਿ ਜਾਂਦੇ ਹਨ
ਮੌਜੂਦਾ ਏਜੰਟ ਮੁਲਾਂਕਣਾਂ ਵਿੱਚੋਂ ਜ਼ਿਆਦਾਤਰ ਇੱਕ ਨਿਸ਼ਚਿਤ ਵਾਤਾਵਰਣ ਪੇਸ਼ ਕਰਦੇ ਹਨ: ਉਹੀ ਰੁਕਾਵਟਾਂ, ਕਾਰਵਾਈਆਂ ਦਾ ਉਹੀ ਕ੍ਰਮ, ਅਤੇ ਉਹੀ ਇਨਾਮ ਢਾਂਚਾ। ਇੱਕ ਏਜੰਟ ਬਦਲਾਅ ਨਾਲ ਨਜਿੱਠਣਾ ਸਿੱਖਣ ਦੀ ਬਜਾਏ, ਸਿਰਫ਼ ਉਸ ਖਾਸ ਸੈੱਟਅੱਪ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਰਸਤਾ ਸਿੱਖ ਸਕਦਾ ਹੈ ਅਤੇ ਵਧੀਆ ਸਕੋਰ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦਾ ਹੈ। ਅਸਲ ਵਿੱਚ, ਰੋਬੋਟ, ਵਰਚੁਅਲ ਸਹਾਇਕ ਅਤੇ ਸਵੈ-ਚਾਲਿਤ ਪ੍ਰਣਾਲੀਆਂ ਬਦਲਦੀਆਂ ਸਥਿਤੀਆਂ ਦਾ ਸਾਹਮਣਾ ਕਰ