એક વોઇસ-AI ટીમે જાહેરાત કરી છે કે તેણે વાસ્તવિક ફોન કોલ્સ પર એન્ડ-ટુ-એન્ડ પ્રતિસાદ લેટન્સીને 1.8 સેકન્ડથી નીચે લાવી દીધી છે—જે તેના પ્રથમ પ્રોટોટાઇપ કરતા 55% નો ઘટાડો છે. ઓવરલેપિંગ પ્રોસેસિંગ સ્ટ્રીમ્સ, ન્યુરલ વોઇસ-એક્ટિવિટી ડિટેક્ટર, સ્ટ્રીમિંગ ટેક્સ્ટ-ટુ-સ્પીચ સિન્થેસિસ અને સ્પેક્યુલેટિવ ઇન્ટેન્ટ પ્રી-ફેચિંગ દ્વારા આ સુધારો કરવામાં આવ્યો છે, જેનાથી એપોઇન્ટમેન્ટ કન્વર્ઝન રેટમાં અંદાજે 30% નો વધારો થયો છે.
વોઇસ આસિસ્ટન્ટ્સ માટે લેટન્સી શા માટે મહત્વની છે
લાંબા વિરામને કારણે કોલ કરનારને એવો પ્રશ્ન થાય છે કે સિસ્ટમ હજુ પણ સાંભળી રહી છે કે નહીં. શરૂઆતના પરીક્ષણોમાં, પ્રોટોટાઇપ જવાબ આપતા પહેલા 2.9 સેકન્ડ રાહ જોતું હતું. કોલ કરનારાઓએ પોતાની વાતનું પુનરાવર્તન કર્યું અથવા ફોન કાપી નાખ્યો, જે સ્પષ્ટ સંકેત હતો કે લેગ (વિલંબ) વાતચીતનો પ્રવાહ તોડી રહ્યો હતો. કોઈપણ રીઅલ-ટાઇમ સેવા માટે—કસ્ટમર સપોર્ટ, બુકિંગ, માહિતી શોધવી—મૌનનો દરેક સેકન્ડ વિશ્વાસ ઘટાડે છે અને કન્વર્ઝન ઘટાડે છે.
ટેકનિકલ ફેરફારો જેણે એક સેકન્ડ ઘટાડી નાખી
ટીમે સખત ક્રમિક પાઇપલાઇનનો ત્યાગ કર્યો અને દરેક તબક્કાને સમાંતર રીતે ચલાવવાની મંજૂરી આપી, જેથી પૂરતો ડેટા મળતાની સાથે જ તે પછીના તબક્કાને ફીડ કરી શકે.
- ન્યુરલ વોઇસ-એક્ટિવિટી ડિટેક્શન (VAD). એક નાનું ન્યુરલ મોડેલ ઓડિયો સ્ટ્રીમ પર નજર રાખે છે અને વક્તા ક્યારે વાક્ય પૂર્ણ કરે છે તેની આગાહી કરે છે, જેનાથી ડિટેક્શન વિન્ડો આશરે 800 ms થી ઘટાડીને 280 ms કરવામાં આવી છે.
- સ્ટ્રીમિંગ ટેક્સ્ટ-ટુ-સ્પીચ (TTS). સંપૂર્ણ લખાણવાળા જવાબની રાહ જોવાને બદલે, સિસ્ટમ પ્રથમ વાક્યને તરત જ સિન્થેસાઇઝરને સ્ટ્રીમ કરે છે, જેથી બાકીનો જવાબ હજુ જનરેટ થઈ રહ્યો હોય ત્યારે જ ઓડિયો શરૂ થઈ જાય છે.
- સ્પેક્યુલેટિવ ઇન્ટેન્ટ પ્રી-ફેચિંગ. જ્યારે યુઝર હજુ વાત કરી રહ્યો હોય, ત્યારે મોડેલ સંભવિત ઇન્ટેન્ટની આગાહી કરે છે અને અગાઉથી બેકએન્ડમાં ક્વેરી કરે છે. જો અનુમાન સાચું હોય, તો બોલવાનું પૂરું થતાની સાથે જ જવાબ તૈયાર હોય છે; જો તે ખોટું હોય, તો ફોલબેક (વૈકલ્પિક વ્યવસ્થા) પણ ઝડપથી આવે છે.
આંકડા શું દર્શાવે છે અને આગળ શું જોવું
ઓવરલેપિંગ ડિઝાઇન સાથે, કુલ પ્રતિસાદ સમય 1.8 સેકન્ડથી નીચે આવી ગયો અને એપોઇન્ટમેન્ટ કન્વર્ઝન રેટમાં 30% નો વધારો થયો.
આ અભિગમ જટિલતા વધારે છે: સમાંતર સ્ટ્રીમ્સ અને સ્પેક્યુલેટિવ ક્વેરીઝ વધુ કમ્પ્યુટિંગ પાવર વાપરે છે અને જ્યારે આગાહીઓ ખોટી પડે ત્યારે સાવચેત એરર હેન્ડલિંગની માંગ કરે છે. આ જ માર્ગ અપનાવવાનું વિચારી રહેલી ટીમોએ યુઝર એન્ગેજમેન્ટમાં અપેક્ષિત વધારા સામે હાર્ડવેર ખર્ચને તોલવો જોઈએ.