நிகழ்நேர வெப்கேம் முதல் VRM ரீடார்கெட்டிங் வரை

ஒரு வெப்கேமை மட்டும் பயன்படுத்தி ஒரு பிரவுசர் மூலம் 3D அவதாரத்தை இயக்க முடியுமா?

VRM 1.0 அவதாரத்தை நிகழ்நேரத்தில் கட்டுப்படுத்துவதற்காக, உடல், முகம் மற்றும் கை அசைவுகளை MediaPipe Holistic மூலம் கணிக்க முடியுமா என்று நான் சோதித்தேன். இந்தச் சோதனையை நான் Apple M1 Max இல் CPU மற்றும் WASM பயன்படுத்தி இயக்கினேன்.

விலையுயர்ந்த மோஷன்-கேப்சர் (motion-capture) உபகரணங்கள் இல்லாமலேயே, ஒரு சாதாரண வெப்கேம் மூலம் 3D அவதாரத்தை இயக்க முடியும் என்பதை இந்த முடிவுகள் காட்டுகின்றன.

Test Results: • வன்பொருள்: Apple M1 Max • உள்ளீடு: 1280x720 வெப்கேம் ஸ்ட்ரீம் • பயனுள்ள வேகம்: 17.3 FPS • சராசரி இன்ஃபரன்ஸ் நேரம் (Mean inference time): 49.17 ms • வெற்றி: கண்டறியப்பட்ட 141 போஸ் பிரேம்களும் (pose frames) VRM எலும்புக்கூட்டை (skeleton) புதுப்பித்தன

How it works: இந்த அமைப்பு 553 புள்ளிகளைக் கண்காணிக்க ஒரு பல-நிலை குழாயைப் (multi-stage pipeline) பயன்படுத்துகிறது:

  • உடல் போஸிற்காக (body pose) 33 புள்ளிகள்
  • முக மெஷிற்காக (face mesh) 478 புள்ளிகள் (கண் பாப்பைகளையும் சேர்த்து)
  • ஒவ்வொரு கைக்கும் 21 புள்ளிகள்

இந்த செயல்முறை பின்வரும் படிகளைப் பின்பற்றுகிறது:

  • MediaPipe வெப்கேமிலிருந்து லேண்ட்மார்க்ஸ்களைக் (landmarks) கண்டறிகிறது
  • ஆயத்தொலைவுகள் (Coordinates) Three.js இடத்திற்கு மாற்றப்படுகின்றன
  • தரவுகள் 34 VRM எலும்புகள் மற்றும் வெளிப்பாடுகளுடன் (expressions) இணைக்கப்படுகின்றன
  • ஸ்மூத்தினிங் அல்காரிதம்கள் (Smoothing algorithms) அசைவுகளை இடைச்செருகல் (interpolating) செய்வதன் மூலம் அதிர்வுகளைக் (jitter) குறைக்கின்றன

ரீடார்கெட்டிங் என்பது இரண்டு லேண்ட்மார்க்ஸ்களுக்கு இடையிலான திசையை VRM எலும்பின் திசையுடன் சீரமைப்பதன் மூலம் செயல்படுகிறது. உதாரணமாக, கையின் சுழற்சியை (arm rotation) அமைக்க, இது தோள்பட்டையை முழங்கைக்கு இணையாக இணைக்கிறது. முகக் குணகங்கள் (Facial coefficients) கண் இமைத்தல் அல்லது தாடை திறத்தல் போன்ற அவதார் வெளிப்பாடுகளுடன் நேரடியாக இணைக்கப்படுகின்றன.

Limitations:

  • வேகம்: 17.3 FPS டெமோக்களுக்கு நல்லது, ஆனால் தொழில்முறை 60 FPS மோஷன் கேப்சருக்கு போதுமான மென்மையாக இல்லை.
  • சுழற்சி (Rotation): இது ஒரு திசை சார்ந்த தோராயமான மதிப்பீடு மட்டுமே. இது முன்கைகள் அல்லது கணுக்கால்களின் துல்லியமான சுழற்சியைத் (twist) தீர்க்காது.
  • சிக்கல்தன்மை: சோதனை காலம் குறைவாக இருந்ததால், முகம் மற்றும் இரண்டு கைகளையும் ஒரே நேரத்தில் நிலையாகக் கண்காணிப்பதை இந்தச் சோதனை நிரூபிக்கவில்லை.

இந்த அமைப்பு, பிரவுசருக்குள்ளேயே அவதார் டெமோக்கள் மற்றும் சைகை இடைமுகங்களை (gesture interfaces) உருவாக்க ஒரு இலகுவான வழியை வழங்குகிறது.

Source: https://dev.to/kiarina/real-time-webcam-to-vrm-retargeting-with-mediapipe-holistic-173-fps-on-m1-max-4be3