Algoritma perekrutan seharusnya menghilangkan ketidakkonsistenan manusia. Berikan model cukup banyak resume, dan ia akan menilai secara ketat

Algoritma perekrutan seharusnya menghilangkan ketidakkonsistenan manusia. Berikan model resume yang cukup, dan ia akan menilai secara ketat berdasarkan kualifikasi. Kenyataannya ternyata jauh lebih rumit. Sebuah studi baru dari Universitas Princeton dan Universitas Chicago menunjukkan bahwa model bahasa besar tidak sekadar mendaur ulang prasangka lama. Mereka menciptakan stereotipe baru dari ketiadaan, dan semakin cerdas model tersebut, semakin cepat hal itu terjadi.

Bagaimana Eksperimen Tersebut Berjalan

Para peneliti membangun pasar tenaga kerja simulasi untuk mengamati pembentukan bias secara real-time. Mereka menciptakan empat kelompok etnis fiktif—Tufa, Aima, Reku, dan Weki—dan menugaskan versi ChatGPT, Claude, dan Gemini untuk mengisi dua puluh pekerjaan yang berbeda. Daftar tersebut berkisar dari dokter dan insinyur hingga petugas kebersihan dan pembersih. Inilah detail krusialnya: di balik layar, setiap kandidat memiliki peluang keberhasilan statistik yang identik. Seorang Weki memiliki peluang yang sama persis untuk sukses sebagai dokter seperti halnya seorang Tufa. Secara matematis, situasinya adil.

Namun, keadilan bukanlah apa yang muncul. Setelah setiap putaran perekrutan, model menerima umpan balik sederhana tentang apakah kandidat pilihan mereka berhasil atau gagal. Ketika seorang kandidat Aima kebetulan berkinerja buruk sekali dalam peran berstatus tinggi, model tidak menganggapnya sebagai gangguan acak (random noise). Model menganggapnya sebagai hukum. Sistem tersebut dengan cepat mulai membatasi kandidat Aima pada posisi berstatus rendah seperti pekerjaan kebersihan. Satu titik data menjadi takdir. AI tersebut telah menciptakan hierarki yang tidak ditulis oleh pemrogram manusia mana pun dan tidak terkandung dalam kumpulan data historis mana pun.

Ketika Model Cerdas Membuat Generalisasi Bodoh

Para peneliti mengukur hasil pada skala segregasi di mana 2,0 mewakili pengurungan total suatu kelompok ke dalam satu ceruk tunggal. Peserta manusia dalam studi psikologi sebelumnya mendapat skor 0,84. Model-model bahasa tersebut melampaui tolok ukur itu. Model penalaran OpenAI, o3, mencapai 1,83—segregasi yang hampir sempurna.

Ini adalah dilema eksplorasi-eksploitasi yang lepas kendali. Sistem ini disetel untuk menang dalam masalah matematika, tantangan pengodean, dan teka-teki logika. Domain tersebut memberi imbalan pada pengambilan kesimpulan yang benar dari bukti yang minim. Temukan polanya. Kunci. Bergerak lebih cepat. Terapkan refleks yang sama pada manusia, dan Anda akan mendapatkan penyortiran etnis berdasarkan satu kegagalan perekrutan.

Lebih buruk lagi, pola tersebut semakin intensif seiring dengan semakin canggihnya model tersebut. Sistem penalaran tinggi yang lebih baru seperti o3 milik OpenAI dan R1 milik DeepSeek menunjukkan bias yang lebih kuat justru karena mereka adalah generalis yang lebih bersemangat. Mereka melakukan optimasi dengan membentuk aturan lebih awal dan menyempurnakannya secara agresif. Ketika subjeknya adalah manusia, kepercayaan diri tersebut menjadi liabilitas. Model tersebut mengira telah menemukan kebenaran tentang kelompok Aima. Kenyataannya, ia telah membangun sangkar dari satu pencilan (outlier).

Jebakan Memori

Studi ini muncul di saat yang canggung. Industri sedang beralih keras ke arah AI “agentic”—sistem yang mempertahankan memori jangka panjang, membangun profil pengguna yang mendetail, dan mempersonalisasi keputusan selama berbulan-bulan atau bertahun-tahun. Angelina Wang, seorang ilmuwan komputer di Cornell University, memperingatkan bahwa memori yang ditingkatkan memungkinkan model untuk “over-index” pada interaksi sebelumnya. Satu pencilan negatif tunggal—satu pinjaman yang ditolak, satu perekrutan yang dihentikan, satu aplikasi yang ditandai—menjadi membatu menjadi asumsi permanen. Bias tersebut tidak memudar seiring waktu; ia justru mengeras. Fitur yang dimaksudkan untuk membuat AI lebih membantu dan sadar konteks justru dapat membuatnya menjadi lebih tidak adil secara keras kepala.

Apa yang Sebenarnya Memperbaiki Masalah

Para peneliti menguji beberapa pagar pengaman (guardrails), dan hasilnya sangat merendahkan hati.

Sekadar memberi tahu model untuk “bersikap adil” hampir tidak membuahkan hasil apa pun. Arahan tersebut hanya menjadi pajangan sementara mesin optimasi yang mendasarinya terus bekerja menuju tujuan sebenarnya: memaksimalkan keberhasilan perekrutan. Etika berdasarkan permintaan adalah etika yang diabaikan.

Perbaikan yang berhasil bersifat struktural. Ketika peneliti memberikan bonus matematis tambahan kepada model untuk mempertahankan hasil perekrutan yang beragam, segregasi turun secara signifikan. Nilai sosial harus dimasukkan langsung ke dalam fungsi imbalan (reward function), bukan sekadar ditambahkan sebagai pemikiran tambahan. Dengan kata lain, model harus merasakan insentif keadilan dalam perhitungannya, bukan hanya membacanya dalam instruksinya.

Kebersihan data juga penting. Menyediakan konteks pribadi yang relevan—usia, pendidikan, lama pengalaman kerja—memberikan sinyal sah bagi model untuk dipertimbangkan, yang mana mengurangi ketergantungan mereka pada stereotip etnis. Namun, jika memasukkan detail yang tidak relevan seperti warna rambut, sistem akan mengambilnya sebagai alasan untuk kembali ke pengelompokan berbasis grup. Informasi lebih banyak tidak selalu lebih baik. Hal ini sepenuhnya bergantung pada jenis informasi tersebut dan apakah informasi itu memberikan jalur alternatif bagi model menuju target optimasinya.

Jalan ke Depan

Semua ini sangat penting karena sistem-sistem ini tidak hanya akan menetap di dalam jendela obrolan. Arsitektur yang sama sedang diterapkan, atau sedang dipersiapkan secara aktif, untuk persetujuan pinjaman, rekomendasi pembebasan bersyarat, dan keputusan manajemen tenaga kerja dalam skala besar. Para peneliti memperingatkan adanya “bias baru”—prasangka yang tidak pernah dimiliki manusia dan tidak terkode dalam dataset historis mana pun, tetapi diciptakan oleh AI itu sendiri saat mengejar efisiensi.

Kenyataan yang tidak menyenangkan adalah bahwa kemampuan penalaran murni dan keadilan sosial dapat menarik ke arah yang berlawanan. Sebuah model yang dioptimalkan untuk menemukan jalur terpendek menuju jawaban yang benar akan dengan senang hati menemukan jalur terpendek menuju asumsi yang salah tentang orang-orang. Membangun sistem yang adil tidak berarti sekadar meminta dengan baik. Ini berarti merancang ulang tujuan, mengaudit loop umpan balik, dan menerima bahwa beberapa generalisasi—jenis yang mereduksi manusia menjadi sekadar kategori setelah satu kesalahan—tidak boleh dibiarkan terbentuk. Jika kita ingin AI menilai kandidat secara adil, kita harus berhenti memperlakukan keadilan sebagai saran dan mulai mengodekannya sebagai batasan keras. Jika kurang dari itu, mesin akan mengoptimalkan jalannya langsung menuju prasangka.