ભરતીના અલ્ગોરિધમ્સનો હેતુ માનવીય અસંગતતાને દૂર કરવાનો હતો. જો મોડલને પૂરતા પ્રમાણમાં રિઝ્યુમ (resumes) આપવામાં આવે, તો તે માત્ર લાયકાતના આધારે જ નિર્ણય લેશે. પરંતુ વાસ્તવિકતા વધુ જટિલ સાબિત થઈ રહી છે. પ્રિન્સટન યુનિવર્સિટી અને શિકાગો યુનિવર્સિટીના એક નવા અભ્યાસ દર્શાવે છે કે લાર્જ લેંગ્વેજ મોડલ્સ માત્ર જૂના પૂર્વગ્રહોને જ પુનરાવર્તિત નથી કરતા, પરંતુ તેઓ શૂન્યમાંથી નવા રૂઢિચુસ્ત માન્યતાઓ (stereotypes) પણ ઊભી કરે છે, અને મોડલ જેટલું સ્માર્ટ હશે, તેટલી જ ઝડપથી આવું થશે.
પ્રયોગ કેવી રીતે કરવામાં આવ્યો હતો
સંશોધકોએ પૂર્વગ્રહ કેવી રીતે ઉદભવે છે તે વાસ્તવિક સમયમાં જોવા માટે એક સિમ્યુલેટેડ લેબર માર્કેટ બનાવ્યું. તેમણે ચાર કાલ્પનિક વંશીય જૂથો—Tufa, Aima, Reku, અને Weki—બનાવ્યા અને ChatGPT, Claude, અને Gemini ના વિવિધ વર્ઝનને વીસ અલગ-અલગ નોકરીઓ માટે સ્ટાફ રાખવાનું કામ સોંપ્યું. આ યાદીમાં ડોક્ટરો અને એન્જિનિયરોથી લઈને સફાઈ કામદારો અને ક્લીનર્સ સુધીના વ્યવસાયો સામેલ હતા. અહીં એક મહત્વપૂર્ણ વિગત છે: પડદા પાછળ, દરેક ઉમેદવાર પાસે સફળતાની સમાન આંકડાકીય શક્યતાઓ હતી. એક Weki પાસે ડોક્ટર તરીકે સફળ થવાની બરાબર તેટલી જ તક હતી જેટલી એક Tufa પાસે હતી. ગાણિતિક રીતે તક સમાન હતી.
પરંતુ જે પરિણામ આવ્યું તે ન્યાયી નહોતું. દરેક ભરતી રાઉન્ડ પછી, મોડલ્સને તેમના દ્વારા પસંદ કરાયેલા ઉમેદવાર સફળ થયો કે નિષ્ફળ તે અંગે સાદું ફીડબેક મળતું હતું. જ્યારે એક Aima ઉમેદવાર ઉચ્ચ દરજ્જાની ભૂમિકામાં એકવાર નિષ્ફળ ગયો, ત્યારે મોડલે તેને માત્ર એક અચાનક થયેલી ભૂલ તરીકે ન જોતા, તેને એક નિયમ તરીકે સ્વીકારી લીધો. સિસ્ટમે ઝડપથી Aima ઉમેદવારોને સફાઈ કામ જેવા નીચલા દરજ્જાના પદોમાં મર્યાદિત કરવાનું શરૂ કરી દીધું. એક ડેટા પોઈન્ટ તેના ભાગ્યનો નિર્ણય બની ગયો. AI એ એક એવી હાયરાર્કી બનાવી દીધી જે કોઈ માનવ પ્રોગ્રામરે લખી નહોતી અને કોઈ ઐતિહાસિક ડેટાસેટમાં હતી જ નહીં.
જ્યારે સ્માર્ટ મોડલ્સ ખોટી સામાન્યીકરણ (generalizations) કરે છે
સંશોધકોએ પરિણામોને સેગ્રિગેશન સ્કેલ પર માપ્યા, જ્યાં 2.0 એ કોઈ જૂથને સંપૂર્ણપણે એક જ ક્ષેત્રમાં મર્યાદિત કરવાના પ્રતિનિધિત્વ કરે છે. અગાઉના મનોવૈજ્ઞાનિક અભ્યાસોમાં માનવ સહભાગીઓનો સ્કોર 0.84 હતો. લેંગ્વેજ મોડલ્સ આ માપદંડને વટાવી ગયા. OpenAI ના રીઝનિંગ મોડલ, o3 એ 1.83 નો સ્કોર મેળવ્યો—જે લગભગ સંપૂર્ણ સેગ્રિગેશન દર્શાવે છે.
આ 'એક્સપ્લોરેશન-એક્સપ્લોઇટેશન ડિલેમા'નું અનિયંત્રિત સ્વરૂપ છે. આ સિસ્ટમોને ગણિતના પ્રશ્નો, કોડિંગ પડકારો અને લોજિકલ પઝલ્સમાં જીતવા માટે ટ્યુન કરવામાં આવે છે. આ ક્ષેત્રો અલ્પ પુરાવા પરથી સાચા નિષ્કર્ષ પર પહોંચવા માટે પ્રોત્સાહિત કરે છે. પેટર્ન ઓળખો. તેને સ્થાપિત કરો. ઝડપથી આગળ વધો. જ્યારે આ જ પ્રતિક્રિયાનો ઉપયોગ લોકો માટે કરવામાં આવે છે, ત્યારે તમે માત્ર એક નિષ્ફળ ભરતીના આધારે વંશીય વર્ગીકરણ મેળવો છો.
વધુ ખરાબ બાબત એ છે કે જેમ મોડલ્સ વધુ અત્યાધુનિક બનતા જાય છે, તેમ આ પેટર્ન વધુ તીવ્ર બનતી જાય છે. OpenAI ના o3 અને DeepSeek ના R1 જેવા નવા હાઈ-રીઝનિંગ સિસ્ટમ્સ વધુ પૂર્વગ્રહ દર્શાવે છે કારણ કે તેઓ વધુ ઉતાવળા સામાન્યીકરણ કરનારા છે. તેઓ વહેલા નિયમો બનાવીને અને તેને આક્રમક રીતે સુધારીને ઓપ્ટિમાઇઝ કરે છે. જ્યારે વિષય માનવ હોય, ત્યારે આ આત્મવિશ્વાસ એક જોખમ બની જાય છે. મોડલને લાગે છે કે તેણે Aima જૂથ વિશે કોઈ સત્ય શોધી કાઢ્યું છે. વાસ્તવમાં, તેણે માત્ર એક અસાધારણ કિસ્સા (outlier) પરથી એક બંધન બનાવી દીધું છે.
મેમરી ટ્રેપ
આ અભ્યાસ એક અઘરા સમયમાં આવ્યો છે. ઉદ્યોગ હવે "એજન્ટિક" AI તરફ ઝડપથી વળી રહ્યો છે—એવી સિસ્ટમ્સ જે લાંબા ગાળાની મેમરી ધરાવે છે, વિગતવાર યુઝર પ્રોફાઇલ્સ બનાવે છે અને મહિનાઓ કે વર્ષો સુધી નિર્ણયોને વ્યક્તિગત બનાવે છે. કોર્નેલ યુનિવર્સિટીના કોમ્પ્યુટર વૈજ્ઞાનિક એન્જલિન વાંગ ચેતવણી આપે છે કે સુધારેલી મેમરી મોડલ્સને અગાઉની ક્રિયાપ્રતિક્રિયાઓ પર "ઓવર-ઇન્ડેક્સ" કરવા દે છે. એક જ નકારાત્મક કિસ્સો—એક નકારવામાં આવેલ લોન, એક છૂટા કરાયેલ કર્મચારી, અથવા એક ફ્લેગ કરેલી અરજી—કાયમી ધારણામાં ફેરવાઈ જાય છે. પૂર્વગ્રહ સમય સાથે ઓછો થતો નથી; તે વધુ મજબૂત બને છે. AI ને વધુ મદદરૂપ અને સંદર્ભ-જાગૃત બનાવવા માટે જે સુવિધા બનાવવામાં આવી છે, તે તેને વધુ જીદ્દી રીતે અન્યાયી પણ બનાવી શકે છે.
વાસ્તવમાં સમસ્યાનું નિરાકરણ શું છે
સંશોધકોએ કેટલાક ગાર્ડરેલ્સનું પરીક્ષણ કર્યું, અને તેના પરિણામો ચિંતાજનક હતા.
મોડલને ફક્ત "ન્યાયી બનો" કહેવાથી લગભગ કંઈ જ પ્રાપ્ત થયું નહીં. આ નિર્દેશ માત્ર એક શણગારની જેમ ત્યાં હતો જ્યારે તેની નીચેનું ઓપ્ટિમાઇઝેશન એન્જિન તેના વાસ્તવિક લક્ષ્ય તરફ આગળ વધી રહ્યું હતું: સફળ ભરતીઓને મહત્તમ બનાવવી. વિનંતી દ્વારા મળતી નૈતિકતા એ અવગણવામાં આવતી નૈતિકતા છે.
જે નિરાકરણ કામ કરી ગયું તે માળખાગત હતું. જ્યારે સંશોધકોએ મોડલ્સને વિવિધતાપૂર્ણ ભરતીના પરિણામો જાળવી રાખવા માટે વધારાનું ગાણિતિક બોનસ આપ્યું, ત્યારે સેગ્રિગેશન નોંધપાત્ર રીતે ઘટી ગયું. સામાજિક મૂલ્યને સીધું જ રિવોર્ડ ફંક્શનમાં સામેલ કરવું પડ્યું હતું, નહીં કે તેને પછીથી વિચાર તરીકે જોડવું પડે. બીજા શબ્દોમાં કહીએ તો, મોડલે ન્યાયીતાના પ્રોત્સાહનને માત્ર તેના નિર્દેશોમાં વાંચવું નહોતું, પરંતુ તેની ગણતરીઓમાં અનુભવવો પડ્યો હતો.
Data hygiene mattered too. Supplying relevant personal context—age, education, years of experience—gave the models legitimate signals to weigh, which reduced their reliance on ethnic stereotyping. But throw in irrelevant details like hair color, and the systems grabbed them as excuses to retreat to group-based sorting. More information is not always better. It depends entirely on what that information is and whether it gives the model an alternate path to its optimization target.
The Road Ahead
All of this carries weight because these systems are not staying inside chat windows. The same architectures are being deployed, or are actively being prepared, for loan approvals, parole recommendations, and workforce management decisions at scale. The researchers warn of “novel biases”—prejudices that no human ever held and no historical dataset encoded, but that the AI engineered for itself while chasing efficiency.
The uncomfortable truth is that raw reasoning ability and social fairness can pull in opposite directions. A model optimized to find the shortest path to a correct answer will happily find the shortest path to a wrong assumption about people. Building fair systems will not mean simply asking nicely. It will mean redesigning the objectives, auditing the feedback loops, and accepting that some generalizations—the kind that reduce human beings to a category after one mistake—must never be allowed to form. If we want AI to judge candidates fairly, we have to stop treating fairness as a suggestion and start encoding it as a hard constraint. Anything less, and the machines will optimize their way straight into prejudice.