ਖੋਜਕਰਤਾਵਾਂ ਨੇ ReBA routing ਪੇਸ਼ ਕੀਤੀ ਹੈ, ਜੋ ਕਿ ਇੱਕ ਜਿਓਮੈਟਰੀ-ਗਾਈਡਡ (geometry-guided) ਟੋਕਨ-ਰੂਟਿੰਗ ਸਕੀਮ ਹੈ ਜੋ ਮਲਟੀਮੋਡਲ ਮਿਕਸਚਰ-ਆਫ-ਐਕਸਪਰਟਸ (MoE) ਮਾਡਲਾਂ ਵਿੱਚ ਵਿਜ਼ੂਅਲ ਅਤੇ ਟੈਕਸਟੂਅਲ ਟੋਕਨਾਂ ਨੂੰ ਸੰਤੁਲਿਤ ਰੱਖਦੀ ਹੈ। ਸ਼ੁਰੂਆਤੀ ਪ੍ਰਯੋਗਾਂ ਨੇ ਦਿਖਾਇਆ ਕਿ ਜਦੋਂ ਇਮੇਜ ਰੈਜ਼ੋਲਿਊਸ਼ਨ (image resolution) ਵਧਾਇਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਇਹ ਵਿਧੀ ਟ੍ਰੇਨਿੰਗ ਨੂੰ ਸਥਿਰ ਰੱਖਦੀ ਹੈ, ਇੱਕ ਅਜਿਹੀ ਸਥਿਤੀ ਜਿੱਥੇ ਰਵਾਇਤੀ ਰੂਟਰ ਆਮ ਤੌਰ 'ਤੇ ਅਸਫਲ ਹੋ ਜਾਂਦੇ ਹਨ।

ਵਿਜ਼ਨ-ਲੈਂਗੂਏਜ ਮਾਡਲਾਂ ਨੂੰ ਨਵੇਂ ਰੂਟਰ ਦੀ ਲੋੜ ਕਿਉਂ ਹੈ

ਵਿਜ਼ਨ-ਲੈਂਗੂਏਜ ਮਾਡਲ ਦੋ ਬਹੁਤ ਵੱਖਰੇ ਸਟ੍ਰੀਮਾਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਨ: ਸੈਂਕੜੇ ਇਮੇਜ ਪੈਚ (image patches) ਅਤੇ ਕੁਝ ਸ਼ਬਦ ਟੋਕਨ। ਸਟੈਂਡਰਡ MoE ਰੂਟਰ ਹਰ ਟੋਕਨ ਨਾਲ ਅਜਿਹਾ ਵਿਵਹਾਰ ਕਰਦੇ ਹਨ ਜਿਵੇਂ ਕਿ ਉਹ ਇੱਕੋ ਕਿਸਮ ਦਾ ਡੇਟਾ ਹੋਵੇ, ਜਿਸ ਕਾਰਨ ਕੁਝ ਐਕਸਪਰਟਸ 'ਤੇ ਇਮੇਜ ਪੈਚਾਂ ਦਾ ਭਾਰ ਵਧ ਜਾਂਦਾ ਹੈ ਜਦੋਂ ਕਿ ਟੈਕਸਟ ਟੋਕਨ ਵਿਹਲੇ ਰਹਿੰਦੇ ਹਨ। ਮੌਜੂਦਾ ਕੰਮ ਇੱਕ ਅੌਕਸਲੀਅਰੀ ਲੌਸ (auxiliary loss) ਨਾਲ ਲੋਡ ਨੂੰ ਠੀਕ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ ਜੋ ਕਿ ਹਰੇਕ ਐਕਸਪਰਟ ਨੂੰ ਦਿੱਤੇ ਗਏ ਟੋਕਨਾਂ ਦੀ ਕੁੱਲ ਸੰਖਿਆ ਨੂੰ ਹੀ ਬਰਾਬਰ ਕਰਦਾ ਹੈ। ਕਿਉਂਕਿ ਇਮੇਜ ਦਾ ਭਾਰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਹੋ ਸਕਦਾ ਹੈ ਜੋ ਕਿ ਬਹੁਤ ਘੱਟ ਟੈਕਸਟ ਲੋਡ ਨੂੰ ਖਤਮ ਕਰ ਦਿੰਦਾ ਹੈ, ਇਸ ਲਈ ਇਹ ਲੌਸ ਅਸਲ ਅਸੰਤੁਲਨ ਨੂੰ ਉਦੋਂ ਤੱਕ ਛੁਪਾ ਕੇ ਰੱਖਦਾ ਹੈ ਜਦੋਂ ਤੱਕ ਪ੍ਰਦਰਸ਼ਨ (performance) ਵਿਗੜ ਨਹੀਂ ਜਾਂਦਾ।

ReBA ਰੂਟਿੰਗ ਦੇ ਤਰੀਕੇ ਨੂੰ ਕਿਵੇਂ ਬਦਲਦਾ ਹੈ

ReBA ਰੂਟਿੰਗ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਇੱਕ ਮੋਡੈਲਿਟੀ ਬਾਊਂਡਰੀ (modality boundary) ਜੋੜਦਾ ਹੈ। ਪੈਚਾਂ ਅਤੇ ਸ਼ਬਦਾਂ ਨੂੰ ਮਿਲਾਉਣ ਵਾਲੇ ਇੱਕ ਸਿੰਗਲ ਪੂਲ ਦੀ ਬਜਾਏ, ਇਹ ਵੱਖਰੇ ਰਸਤੇ ਬਣਾਉਂਦਾ ਹੈ ਜੋ ਇਮੇਜ ਟੋਕਨਾਂ ਦੇ ਜਿਓਮੈਟ੍ਰਿਕ ਲੇਆਉਟ (geometric layout) ਦਾ ਸਤਿਕਾਰ ਕਰਦੇ ਹਨ। ਹਰੇਕ ਇਮੇਜ ਇੰਸਟੈਂਸ ਨੂੰ ਇੱਕੋ ਜਿਹਾ ਸਮੁੱਚਾ ਭਾਰ (weight) ਮਿਲਦਾ ਹੈ, ਜੋ ਕਿਸੇ ਵੀ ਇੱਕ ਐਕਸਪਰਟ ਨੂੰ ਬੋਤਲਨੈਕ (bottleneck) ਬਣਨ ਤੋਂ ਰੋਕਦਾ ਹੈ। ਪੈਚਾਂ ਦੇ ਸਪੇਸ਼ੀਅਲ ਅਰੇਂਜਮੈਂਟ (spatial arrangement) ਦੁਆਰਾ ਮਾਰਗਦਰਸ਼ਨ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹੋਏ, ਇਨਪੁਟ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਬਦਲਣ 'ਤੇ ਵੀ ਸਿਸਟਮ ਸਥਿਰ ਰਹਿੰਦਾ ਹੈ।

ਲੇਖਕਾਂ ਦੁਆਰਾ ਦੱਸੇ ਗਏ ਮੁੱਖ ਫਾਇਦੇ:

  • ਵਿਜ਼ੂਅਲ ਅਤੇ ਭਾਸ਼ਾਈ ਟੋਕਨਾਂ ਵਿਚਕਾਰ ਇੱਕ ਸਪਸ਼ਟ ਵੰਡ ਲਾਗੂ ਕਰਦਾ ਹੈ।
  • ਇੱਕ ਬੈਚ ਵਿੱਚ ਹਰੇਕ ਇਮੇਜ ਤੋਂ ਬਰਾਬਰ ਯੋਗਦਾਨ ਦੀ ਗਾਰੰਟੀ ਦਿੰਦਾ ਹੈ।
  • ਐਕਸਪਰਟਸ ਨੂੰ ਇੱਕ ਹੀ ਮੋਡੈਲਿਟੀ ਦੁਆਰਾ ਬਹੁਤ ਜ਼ਿਆਦਾ ਲੋਡ ਹੋਣ ਤੋਂ ਰੋਕਦਾ ਹੈ।
  • ਜਦੋਂ ਇਮੇਜ ਪੈਚਾਂ ਦੀ ਸੰਖਿਆ ਵਧਦੀ ਹੈ ਤਾਂ ਸੰਤੁਲਨ ਬਣਾਈ ਰੱਖਦਾ ਹੈ।

ਕਈ ਬੈਂਚਮਾਰਕ ਸੈਟਿੰਗਾਂ ਵਿੱਚ, ReBA ਨੇ ਬੈਚ ਵਿੱਚ ਕਿੰਨੇ ਵੀ ਪੈਚ ਜੋੜੇ ਜਾਣ, ਐਕਸਪਰਟ ਪੂਲ ਦੀ ਬਰਾਬਰ ਵਰਤੋਂ ਕੀਤੀ, ਜੋ ਕਿ ਰਵਾਇਤੀ ਅੌਕਸਲੀਅਰੀ-ਲੌਸ (auxiliary-loss) ਤਰੀਕੇ ਨਾਲੋਂ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ।

ਸੀਮਾਵਾਂ ਅਤੇ ਖੁੱਲ੍ਹੇ ਸਵਾਲ

ਅਧਿਐਨ ਵਿੱਚ ਸਪੀਡ ਜਾਂ ਮੈਮੋਰੀ ਦੀ ਖਪਤ ਬਾਰੇ ਅੰਕੜੇ ਨਹੀਂ ਦਿੱਤੇ ਗਏ ਹਨ, ਇਸ ਲਈ ਸਾਨੂੰ ਇਹ ਨਹੀਂ ਪਤਾ ਕਿ ਵਾਧੂ ਰੂਟਿੰਗ ਲੌਜਿਕ ਕੋਈ ਲੁਕੀਲੀਆਂ ਲਾਗਤਾਂ (hidden costs) ਤਾਂ ਨਹੀਂ ਜੋੜਦਾ। ਲੇਖਕ ਇਹ ਵੀ ਮੰਨਦੇ ਹਨ ਕਿ ਇੱਕ ਸਿੰਗਲ ਇਮੇਜ ਦੇ ਸਾਰੇ ਪੈਚ ਇੱਕ ਇਕਾਈ ਵਜੋਂ ਕੰਮ ਕਰਦੇ ਹਨ; ਉਹ ਅਨੁਮਾਨ ਉਹਨਾਂ ਬੈਚਾਂ ਵਿੱਚ ਟੁੱਟ ਸਕਦਾ ਹੈ ਜੋ ਵੱਖ-ਵੱਖ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਵਾਲੀਆਂ ਇਮੇਜਾਂ ਨੂੰ ਮਿਲਾਉਂਦੇ ਹਨ ਜਾਂ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਅੰਸ਼ਕ ਤੌਰ 'ਤੇ ਮਾਸਕ ਕੀਤੇ ਗਏ ਖੇਤਰ (partially masked regions) ਹੁੰਦੇ ਹਨ।

ਅੱਗੇ ਕੀ ਦੇਖਣਾ ਹੈ

  • ਪ੍ਰਦਰਸ਼ਨ-ਬਨਾਮ-ਕਾਰਜਕੁਸ਼ਲਤਾ (Performance-vs-efficiency) ਟ੍ਰੇਡ-ਆਫ: ਭਵਿੱਖ ਦੇ ਕੰਮਾਂ ਵਿੱਚ ReBA ਦੁਆਰਾ ਜੋੜੇ ਗਏ ਕਿਸੇ ਵੀ ਓਵਰਹੈੱਡ (overhead) ਨੂੰ ਮਾਪਣ ਦੀ ਲੋੜ ਹੋਵੇਗੀ।
  • ਮਿਕਸਡ-ਬੈਚ ਵਿਵਹਾਰ (Mixed-batch behavior): ਉੱਚ-ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਅਤੇ ਘੱਟ-ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਵਾਲੀਆਂ ਇਮੇਜਾਂ ਨੂੰ ਜੋੜਨ ਵਾਲੇ ਬੈਚਾਂ 'ਤੇ ਟੈਸਟਿੰਗ ਇਹ ਦੱਸੇਗੀ ਕਿ ਮੋਡੈਲਿਟੀ ਬਾਊਂਡਰੀ ਟਿਕਦੀ ਹੈ ਜਾਂ ਨਹੀਂ।
  • ਵੱਡੇ ਪੱਧਰ ਦੇ ਪਾਈਪਲਾਈਨਾਂ ਵਿੱਚ ਅਪਣਾਉਣਾ: ਜੇਕਰ ਰੂਟਿੰਗ ਸਥਿਰਤਾ ਬਿਹਤਰ ਡਾਊਨਸਟ੍ਰੀਮ ਟਾਸਕਾਂ—ਜਿਵੇਂ ਕਿ ਇਮੇਜ ਕੈਪਸ਼ਨਿੰਗ ਜਾਂ ਵਿਜ਼ੂਅਲ ਕੁਏਸਚਨ ਆਨਸਵਰਿੰਗ—ਵਿੱਚ ਬਦਲਦੀ ਹੈ, ਤਾਂ ਡਿਵੈਲਪਰ ਸਟੈਂਡਰਡ ਅੌਕਸਲੀਅਰੀ ਲੌਸ ਨੂੰ ReBA ਨਾਲ ਬਦਲ ਸਕਦੇ ਹਨ।

ਜੇਕਰ ਤੁਸੀਂ ਵਿਜ਼ਨ-ਲੈਂਗੂਏਜ MoE ਪਾਈਪਲਾਈਨ ਬਣਾ ਰਹੇ ਹੋ, ਤਾਂ ਇਮੇਜ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਨੂੰ ਵਧਾਉਣ ਵੇਲੇ ਡਿਫੌਲਟ ਰੂਟਰ ਨੂੰ ReBA ਨਾਲ ਬਦਲਣਾ ਤੁਹਾਨੂੰ ਐਕਸਪਰਟ ਦੀ ਵਰਤੋਂ ਦਾ ਵਧੇਰੇ ਇੱਕਸਾਰ ਪੈਟਰਨ ਦੇ ਸਕਦਾ ਹੈ। ਬਦਲਾਅ ਤੋਂ ਬਾਅਦ ਟੋਕਨ-ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਮੈਟ੍ਰਿਕਸ (token-distribution metrics) 'ਤੇ ਨਜ਼ਰ ਰੱਖੋ; ਇੱਕ ਫਲੈਟ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਇਹ ਸੰਕੇਤ ਦਿੰਦੀ ਹੈ ਕਿ ਮੋਡੈਲਿਟੀ ਬਾਊਂਡਰੀ ਆਪਣਾ ਕੰਮ ਸਹੀ ਤਰੀਕੇ ਨਾਲ ਕਰ ਰਹੀ ਹੈ।