ਰੀਅਲ-ਟਾਈਮ ਵੈੱਬਕੈਮ ਤੋਂ VRM ਰੀਟਾਰਗੇਟਿੰਗ
ਕੀ ਇੱਕ ਬ੍ਰਾਊਜ਼ਰ ਸਿਰਫ਼ ਇੱਕ ਵੈੱਬਕੈਮ ਦੀ ਵਰਤੋਂ ਕਰਕੇ 3D ਅਵਤਾਰ ਨੂੰ ਚਲਾ ਸਕਦਾ ਹੈ?
ਮੈਂ ਇਹ ਦੇਖਣ ਲਈ MediaPipe Holistic ਦਾ ਟੈਸਟ ਕੀਤਾ ਕਿ ਕੀ ਇਹ ਰੀਅਲ-ਟਾਈਮ ਵਿੱਚ VRM 1.0 ਅਵਤਾਰ ਨੂੰ ਕੰਟਰੋਲ ਕਰਨ ਲਈ ਸਰੀਰ, ਚਿਹਰੇ ਅਤੇ ਹੱਥਾਂ ਦੀਆਂ ਹਰਕਤਾਂ ਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾ ਸਕਦਾ ਹੈ। ਮੈਂ ਇਹ ਟੈਸਟ Apple M1 Max 'ਤੇ CPU ਅਤੇ WASM ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਚਲਾਇਆ।
ਨਤੀਜੇ ਦਿਖਾਉਂਦੇ ਹਨ ਕਿ ਇੱਕ ਸਧਾਰਨ ਵੈੱਬਕੈਮ ਮਹਿੰਗੇ ਮੋਸ਼ਨ-ਕੈਪਚਰ ਉਪਕਰਣਾਂ ਤੋਂ ਬਿਨਾਂ 3D ਅਵਤਾਰ ਨੂੰ ਚਲਾ ਸਕਦਾ ਹੈ।
ਟੈਸਟ ਦੇ ਨਤੀਜੇ: • ਹਾਰਡਵੇਅਰ: Apple M1 Max • ਇਨਪੁਟ: 1280x720 ਵੈੱਬਕੈਮ ਸਟ੍ਰੀਮ • ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਸਪੀਡ: 17.3 FPS • ਔਸਤ ਇਨਫਰੈਂਸ ਸਮਾਂ: 49.17 ms • ਸਫਲਤਾ: ਸਾਰੇ 141 ਡਿਟੈਕਟ ਕੀਤੇ ਗਏ ਪੋਜ਼ ਫਰੇਮਾਂ ਨੇ VRM ਸਕੇਲੇਟਨ ਨੂੰ ਅਪਡੇਟ ਕੀਤਾ
ਇਹ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ: ਸਿਸਟਮ 553 ਪੁਆਇੰਟਾਂ ਨੂੰ ਟ੍ਰੈਕ ਕਰਨ ਲਈ ਇੱਕ ਮਲਟੀ-ਸਟੇਜ ਪਾਈਪਲਾਈਨ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ:
- ਸਰੀਰ ਦੀ ਪੋਜ਼ ਲਈ 33 ਪੁਆਇੰਟ
- ਫੇਸ ਮੈਸ਼ (face mesh) ਲਈ 478 ਪੁਆਇੰਟ (ਆਈਰਿਸ ਸਮੇਤ)
- ਹਰੇਕ ਹੱਥ ਲਈ 21 ਪੁਆਇੰਟ
ਪ੍ਰਕਿਰਿਆ ਇਹਨਾਂ ਕਦਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦੀ ਹੈ:
- MediaPipe ਵੈੱਬਕੈਮ ਤੋਂ ਲੈਂਡਮਾਰਕਸ (landmarks) ਡਿਟੈਕਟ ਕਰਦਾ ਹੈ
- ਕੋਆਰਡੀਨੇਟਸ (Coordinates) ਨੂੰ Three.js ਸਪੇਸ ਵਿੱਚ ਬਦਲਿਆ ਜਾਂਦਾ ਹੈ
- ਡੇਟਾ 34 VRM ਬੋਨਜ਼ (bones) ਅਤੇ ਐਕਸਪ੍ਰੈਸ਼ਨਜ਼ (expressions) ਨਾਲ ਮੈਪ ਹੁੰਦਾ ਹੈ
- ਸਮੂਥਿੰਗ ਐਲਗੋਰਿਦਮ (Smoothing algorithms) ਹਰਕਤਾਂ ਨੂੰ ਇੰਟਰਪੋਲੇਟ ਕਰਕੇ ਜਿੱਟਰ (jitter) ਨੂੰ ਘਟਾਉਂਦੇ ਹਨ
ਰੀਟਾਰਗੇਟਿੰਗ ਦੋ ਲੈਂਡਮਾਰਕਸ ਵਿਚਕਾਰ ਦੀ ਦਿਸ਼ਾ ਨੂੰ VRM ਬੋਨ ਦੀ ਦਿਸ਼ਾ ਨਾਲ ਜੋੜ ਕੇ ਕੰਮ ਕਰਦੀ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਇਹ ਬਾਹਾਂ ਦੇ ਰੋਟੇਸ਼ਨ ਨੂੰ ਸੈੱਟ ਕਰਨ ਲਈ ਮੋਢੇ ਨੂੰ ਕੋਹਣੀ ਨਾਲ ਮੈਪ ਕਰਦਾ ਹੈ। ਚਿਹਰੇ ਦੇ ਕੋਐਫੀਸ਼ੀਐਂਟਸ (Facial coefficients) ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਅਵਤਾਰ ਦੇ ਐਕਸਪ੍ਰੈਸ਼ਨਜ਼ ਜਿਵੇਂ ਕਿ ਅੱਖਾਂ ਦੀ ਪਲਕ ਝਪਕਾਉਣਾ ਜਾਂ ਜਬੜੇ ਦਾ ਖੁੱਲ੍ਹਣਾ ਨਾਲ ਮੈਪ ਹੁੰਦੇ ਹਨ।
ਸੀਮਾਵਾਂ:
- ਸਪੀਡ: 17.3 FPS ਡੈਮੋ ਲਈ ਵਧੀਆ ਹੈ ਪਰ ਪੇਸ਼ੇਵਰ 60 FPS ਮੋਸ਼ਨ ਕੈਪਚਰ ਲਈ ਕਾਫ਼ੀ ਸਮੂਥ ਨਹੀਂ ਹੈ।
- ਰੋਟੇਸ਼ਨ: ਇਹ ਇੱਕ ਦਿਸ਼ਾਤਮਕ ਅੰਦਾਜ਼ਾ (directional approximation) ਹੈ। ਇਹ ਅੱਗੇ ਹੱਥਾਂ (forearms) ਜਾਂ ਗਿੱਟਿਆਂ ਦੇ ਸਹੀ ਮੋੜ (twist) ਨੂੰ ਹੱਲ ਨਹੀਂ ਕਰਦਾ।
- ਜਟਿਲਤਾ: ਟੈਸਟ ਦੀ ਮਿਆਦ ਘੱਟ ਹੋਣ ਕਾਰਨ, ਇਹ ਚਿਹਰੇ ਅਤੇ ਦੋਵਾਂ ਹੱਥਾਂ ਦੀ ਇੱਕੋ ਸਮੇਂ ਸਥਿਰ ਟ੍ਰੈਕਿੰਗ ਨੂੰ ਸਾਬਤ ਨਹੀਂ ਕਰ ਸਕਿਆ।
ਇਹ ਸੈੱਟਅੱਪ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਅੰਦਰ ਅਵਤਾਰ ਡੈਮੋ ਅਤੇ ਜੈਸਚਰ ਇੰਟਰਫੇਸ ਬਣਾਉਣ ਲਈ ਇੱਕ ਹਲਕਾ ਤਰੀਕਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।