શા માટે AI કોન્ટેક્સ્ટ કમ્પ્રેશન (Context Compression) તમારી સૂચનાઓને ચુપચાપ અવગણી રહ્યું છે
જેમ જેમ લાર્જ લેંગ્વેજ મોડલ્સ (LLMs) સાથેની વાતચીત લાંબી થતી જાય છે, તેમ તેમ ડેવલપર્સ ટોકન મર્યાદાઓને મેનેજ કરવા અને પરફોર્મન્સમાં અવરોધ ન આવે તે માટે "context compression" અથવા compaction પર વધુ ને વધુ આધાર રાખે છે. જોકે, નવું સંશોધન આ ઓપ્ટિમાઇઝેશનમાં એક ગંભીર ખામી દર્શાવે છે: જ્યારે AI સિસ્ટમ્સ જગ્યા બચાવવા માટે વાતચીતના ઇતિહાસનો સારાંશ (summarize) બનાવે છે, ત્યારે તેઓ વારંવાર તે નિયમોને જ કાઢી નાખે છે જે તેમના વર્તનને નિયંત્રિત કરવા માટે બનાવવામાં આવ્યા હોય છે.
સેશન કન્સ્ટ્રેન્ટ્સ (Session Constraints) ની નાજુકતા
જ્યારે કોઈ AI સિસ્ટમ compaction દ્વારા પસાર થાય છે, ત્યારે તેનો મુખ્ય ઉદ્દેશ્ય કાર્યની સાતત્યતા જાળવવાનો હોય છે—એટલે કે ઉદ્દેશ્ય, વર્તમાન સ્થિતિ અને જરૂરી આગામી પગલાં જાળવી રાખવા. આ વાતચીતના "શું" (what) ને જાળવી રાખે છે, પરંતુ તે ઘણીવાર "કેવી રીતે" (how) ને બલિદાન આપે છે.
Penn State ના સંશોધકોએ ઓળખ્યું છે કે "session constraints" આ પ્રક્રિયાના પ્રથમ ભોગ બને છે. આ બિન-કાયમી, વપરાશકર્તા દ્વારા લાદવામાં આવેલા નિયમો છે જેમ કે "તમારા જવાબોમાં ક્યારેય મારું નામ ન વાપરો" અથવા "કોઈપણ ફેરફાર કરતા પહેલા મારી સાથે પુષ્ટિ કરો." કારણ કે આ સૂચનાઓ મુખ્ય કાર્ય અથવા કાયમી સિસ્ટમ પ્રોમ્પ્ટનો ભાગ નથી, તેથી કમ્પ્રેશન અલ્ગોરિધમ્સ તેને ગૌણ વિગતો તરીકે જુએ છે અને વધુ સુસંગત ડેટા માટે જગ્યા બનાવવા માટે તેને કાઢી નાખે છે.
COMPINT ના તારણો: 17% સર્વાઈવલ રેટ (Survival Rate)
આ ઘટાડાને માપવા માટે, સંશોધકોએ COMPINT ઇવેલ્યુએશન સૂટ વિકસાવ્યો છે. પરિણામો ચોંકાવનારા છે: સરેરાશ, ઇન્જેક્ટ કરેલા સેશન કન્સ્ટ્રેન્ટ્સમાંથી માત્ર 17 ટકા જ કમ્પ્રેશન પ્રક્રિયામાં ટકી રહે છે.
અભ્યાસે નિયમોના પાલનમાં નોંધપાત્ર ઘટાડો દર્શાવ્યો છે. જ્યારે કોઈ એજન્ટ પાસે સંપૂર્ણ, અનકમ્પ્રસ્ડ કોન્ટેક્સ્ટ હોય છે, ત્યારે પાલનનો દર સામાન્ય રીતે 59% થી 71% ની વચ્ચે હોય છે. એકવાર compaction થયા પછી, પાલનનો દર ઝડપથી ઘટી જાય છે, જે ઘણીવાર એવા કિસ્સા જેવો થઈ જાય છે જ્યાં ક્યારેય કોઈ કન્સ્ટ્રેન્ટ આપવામાં આવ્યો જ ન હોય.
આ માત્ર વાતચીતની ન્યૂઆન્સ (nuance) નો વિષય નથી; તે સુરક્ષા અને વિશ્વસનીયતા માટે મોટું જોખમ છે. એજન્ટિક વર્કફ્લોમાં, "મંજૂરી વિના કોડ એક્ઝિક્યુટ કરશો નહીં" જેવા કન્સ્ટ્રેન્ટ ગુમાવવાથી અનધિકૃત ટૂલ કોલ્સ, ડેટા લીક અથવા કેલેન્ડર અથવા ઇમેઇલ જેવી બાહ્ય સિસ્ટમ્સમાં વેરિફાઇડ વગરના ફેરફારો થઈ શકે છે.
Qwen3.5-9B દ્વારા એક લાઇટવેઇટ સોલ્યુશન
મુખ્ય AI લેબ્સ દ્વારા ઉપયોગમાં લેવાતા જટિલ કમ્પ્રેશન લોજિકમાં મોટો ફેરફાર કરવાને બદલે, સંશોધકોએ "પ્લગ-એન્ડ-પ્લે" આર્કિટેક્ચરલ ફિક્સનો પ્રસ્તાવ મૂક્યો છે. તેઓએ Qwen3.5-9B મોડલ પર આધારિત એક નાનું એડ-ઓન મોડ્યુલ વિકસાવ્યું છે જે સ્પેશિયલાઇઝ્ડ એક્સટ્રેક્ટર તરીકે કામ કરવા માટે ડિઝાઇન કરવામાં આવ્યું છે.
આ મોડ્યુલ આ રીતે કાર્ય કરે છે:
- સેશન કન્સ્ટ્રેન્ટ્સને શોધવા અને અલગ કરવા માટે રીઅલ-ટાઇમમાં દરેક યુઝર ઇનપુટને સ્કેન કરવું.
- આ નિયમોની એક સમર્પિત, સ્વતંત્ર યાદી જાળવી રાખવી.
- જ્યારે મુખ્ય સિસ્ટમ compaction કરે ત્યારે આ નિષ્કર્ષિત (distilled) યાદીને સારાંશમાં ઉમેરવી.
આ અભિગમના પરિણામો અત્યંત અસરકારક છે. એક્સટ્રેક્ટરે વિવિધ પરીક્ષણ પરિસ્થિતિઓમાં 90 ટકાથી વધુ રીટેન્શન (retention) હાંસલ કર્યું છે, જેમાં એજન્ટ ટ્રેજેક્ટરીઝ માટે 95.6% અને મલ્ટી-ટર્ન ચેટ્સ માટે 90.3% સફળતાનો દર સામેલ છે. કારણ કે આ પદ્ધતિમાં પ્રાથમિક મોડલને ફરીથી તાલીમ આપવાની અથવા હાલના કમ્પ્રેશન ઇન્ફ્રાસ્ટ્રક્ચરમાં ફેરફાર કરવાની જરૂર નથી, તે વધુ વિશ્વસનીય લોંગ-કોન્ટેક્સ્ટ AI ઇન્ટરેક્શન તરફ એક સ્કેલેબલ માર્ગ પ્રદાન કરે છે.
મુખ્ય મુદ્દાઓ
- કન્સ્ટ્રેન્ટ ભૂંસાઈ જવું (Constraint Erasure): કોન્ટેક્સ્ટ કમ્પ્રેશન વર્તણૂકીય નિયમો કરતા કાર્યના લક્ષ્યોને પ્રાથમિકતા આપે છે, જેના કારણે સારાંશ બનાવતી વખતે મોટાભાગના વપરાશકર્તા દ્વારા લાદવામાં આવેલા "સેશન કન્સ્ટ્રેન્ટ્સ" ગુમાવવામાં આવે છે.
- સુરક્ષા જોખમો: સૂચનાઓ ગુમાવવાથી—જેમ કે હ્યુમન-ઇન-ધ-લૂપ વેરિફિકેશન માટેની જરૂરિયાતો—અનધિકૃત એજન્ટ એક્શન અને સુરક્ષા સાથે સમાધાન થઈ શકે છે.
- મોડ્યુલર ફિક્સ: કન્સ્ટ્રેન્ટ્સને અલગથી ટ્રેક કરવા માટે Qwen3.5-9B જેવા નાના, સ્પેશિયલાઇઝ્ડ મોડલનો ઉપયોગ કરવાથી સૂચનાઓના રીટેન્શનને 90% થી વધુ સુધી પુનઃસ્થાપિત કરી શકાય છે.