பாண்டோராவின் AI மாடல் ரூட்டிங் பாக்ஸ் (Pandora's AI Model Routing Box)
DeepMind-ன் புதிய ஆய்வறிக்கை, பணிகளின் செயல்திறனை மாற்றாமல், ரூட்டிங் செலவினங்களை (routing overhead) 70% வரை குறைக்கும் ஒரு "Pandora’s Box" கட்டமைப்பை முன்மொழிகிறது.
ரூட்டிங் செலவுகள் ஏன் முக்கியம்
ஒரு சேவைக்கு ஒரு கோரிக்கை (request) வரும்போது, அங்கு பல மாடல்களின் தெரிவுகள் இருக்கும்—சில வேகமானவை ஆனால் துல்லியம் குறைந்தவை, மற்றவை மெதுவானவை ஆனால் துல்லியமானவை. சிறந்த மாடலைத் தேர்ந்தெடுப்பதற்கு கணினித் திறன் (compute) மற்றும் நிதிச் செலவாகும். எந்த மாடல் பொருத்தமானது என்பதைத் தெரிந்துகொள்வதற்கு முன்னதாக, நீங்கள் ஒரு விரைவான சோதனையைச் செய்ய வேண்டும், வெளிப்புறத் தரவை எடுக்க வேண்டும் அல்லது ஒரு துணை கருவியைப் பயன்படுத்த வேண்டும்.
பாண்டோரா பாக்ஸ் (Pandora’s Box) ஒப்புமை
DeepMind, ரூட்டிங் சிக்கலைத் புகழ்பெற்ற பாண்டோரா பாக்ஸ் புதிரோடு ஒப்பிடுகிறது: ஒவ்வொரு மாடலும் தற்போதைய வினாவிற்கான (query) தனது செயல்திறனை மறைத்து வைத்திருக்கும் ஒரு மூடிய பெட்டி போன்றது. ஒரு பெட்டியைத் திறப்பது வளங்களைச் செலவழிக்கும் என்பதால், அதன் மூலம் கிடைக்கும் லாபம் அந்தச் செலவுக்குத் தகுந்ததா என்பதை நீங்கள் தீர்மானிக்க வேண்டும். இந்தச் சமநிலையை (trade-off) இந்தக் கட்டமைப்பு முறைப்படுத்துகிறது மற்றும் இரண்டு குறிப்பிட்ட வழிமுறைகளை வழங்குகிறது.
Pandora’s Router – ஒரு மையப்படுத்தப்பட்ட முடிவெடுப்பவர்
ரூட்டர் முதலில் ஒரு மாடலின் திறனை மதிப்பிடுவதற்கு மலிவான மற்றும் குறைவான துல்லியமான மதிப்பீட்டாளரை (estimator) இயக்குகிறது. தற்போதைய சிறந்த மாடலை விட எதிர்பார்க்கப்படும் முன்னேற்றம், முன்கூட்டியே நிர்ணயிக்கப்பட்ட "முன்பதிவு விலையை" (reservation price) விட அதிகமாக இருந்தால் மட்டுமே, அது துல்லியமான மதிப்பீட்டிற்காகச் செலவிடுகிறது. ஒவ்வொரு மாடலையும் ஆய்வு செய்வதைத் தவிர்ப்பதன் மூலம், ரூட்டர் ஆய்வுக்கான பட்ஜெட்டை வெகுவாகக் குறைக்கிறது, அதே சமயம் சிறந்த செயல்திறன் கொண்ட விருப்பத்தை வெளிச்சத்திற்குக் கொண்டு வருகிறது.
Pandora’s Bidder – ஒரு பரவலாக்கப்பட்ட சந்தை
பிடர் (bidder) முறையில், ஒவ்வொரு மாடல் வழங்குநரும் ஒரு ஒப்பந்தத்தை வெல்ல உதவும் சுய-மதிப்பீட்டிற்காகப் பணம் செலவழிக்கலாமா என்பதைத் தீர்மானிக்கிறார்கள். மதிப்பீட்டுச் செலவை விட ஒப்பந்தம் வெல்லும் வாய்ப்பு அதிக லாபம் தரும் என்று அவர்கள் கருதினால் மட்டுமே ஏலங்களை (bids) சமர்ப்பிக்கிறார்கள். இது அதிக செலவு பிடிக்கும் மதிப்பீடுகள், லாபம் போதுமானதாக இருக்கும்போது மட்டுமே நடக்கும் ஒரு சந்தையை உருவாக்குகிறது.
மூன்று துறைகளில் கிடைத்த முடிவுகள்
ஆய்வாளர்கள் இரண்டு வழிமுறைகளையும் பின்வரும் துறைகளில் சோதித்தனர்:
- கணிதத் தர்க்கம் (Math reasoning) – ஒரு சிக்கலை மிகவும் துல்லியமாகத் தீர்க்கும் மாடலைத் தேர்ந்தெடுப்பது.
- Retrieval-augmented generation (RAG) – ஒரு மொழி மாடல் பதிலைத் தயாரிப்பதற்கு முன், மிகவும் பொருத்தமான சூழலை (context) வழங்கும் மீட்டெடுப்பு அமைப்பைத் (retrieval system) தேர்ந்தெடுப்பது.
- பெரிய அளவிலான எம்பெடிங் தேர்வு (Large-scale embedding selection) – ஒற்றுமைத் தேடலுக்கு (similarity search) சிறந்த வெக்டர் பிரதிநிதித்துவத்தை வழங்கும் என்கோடரைத் (encoder) தேர்ந்தெடுப்பது.
ஒவ்வொரு சூழலிலும், Pandora’s Router மிகக் குறைந்த செலவு மற்றும் பிழை (cost-plus-error) அளவீட்டைக் காட்டியது; எப்போதும் அனைத்து மாடல்களையும் ஆய்வு செய்யும் அல்லது ஒருபோதும் ஆய்வு செய்யாத அடிப்படை முறைகளை விட இது சிறந்தது. இந்த அமைப்பு தானாகவே மாற்றமடைகிறது: ஆய்வுச் செலவுகள் அதிகரிக்கும் போது, இது குறைவான மாடல்களை ஆய்வு செய்கிறது; செலவுகள் குறையும் போது, ஆய்வின் தீவிரத்தை அதிகரிக்கிறது. ரூட்டிங் செலவுகளில் 30% முதல் 70% வரை சேமிப்பு கிடைப்பதாகக் கூறப்படுகிறது, மேலும் பணிகளின் தரத்தில் எந்தக் குறிப்பிடத்தக்க வீழ்ச்சியும் இல்லை.
முக்கியக் கருத்து: இன்ஃபரன்ஸ் (inference) பட்ஜெட்டுகள் அதிகரித்து வரும் நிலையில், ஒரு சிறந்த மாடலைத் தேடுவதை எப்போது நிறுத்த வேண்டும் என்று தீர்மானிப்பது, மாடலைத் தேர்ந்தெடுப்பதைப் போலவே முக்கியமானது. Pandora’s Box ஒரு மறைமுகச் செலவைக் கட்டுப்படுத்தக்கூடிய ஒரு கருவியாக மாற்றுகிறது.