Pada awal Oktober, permohonan ditutup untuk sidang kemuncak kepimpinan belia serantau yang dianjurkan Biji-biji Initiative di seluruh ASEAN. Helen, pengarah program, menjangka kira-kira 800 pemohon. Seramai 869 orang memohon.
Panel 11 penilai, seorang bagi setiap negara ASEAN, sedang menunggu untuk membuat pemilihan akhir, dan Helen memerlukan senarai bermarkah menjelang Rabu untuk disediakan kepada mereka. Pada petang Isnin, pasukan teknologi kami memproses pemohon yang layak melalui Agent-E, platform penilaian pemohon yang kami bina sendiri. Ia menilai kesemua 652 pemohon berdasarkan kriteria program dalam 44.7 minit, dengan kos model AI USD 2.70. Helen menerima keputusannya pada petang itu juga.
Berikut cara ia berfungsi, cara ia memberi setiap pemohon penilaian yang lebih adil, dan bahagian yang kekal di bawah kawalan manusia.
Pengajaran utama
- Biarkan AI membuat bacaan pertama, dan kekalkan keputusan di tangan manusia. Panel tetap memilih setiap peserta.
- Minta seseorang meluluskan kriteria sebelum penilaian, dan uji kriteria itu pada beberapa pemohon dahulu.
- Ukur kos setiap larian. Pada kos kurang daripada satu sen bagi setiap pemohon, kos bukan alasan untuk menangguhkannya.
- Nilai setiap pemohon dengan cara yang sama, dengan sebab-sebabnya ditulis. Ia lebih adil kepada pemohon dan lebih pantas untuk pasukan.
- Bandingkan markah AI dengan penilai anda sendiri. Jurang itu menunjukkan pengalaman yang dimiliki pasukan anda tetapi belum ada pada AI.
Cabaran
Setiap program Mereka dan Biji-biji Initiative mengambil peserta melalui permohonan terbuka, dan saringan selama ini dibuat secara manual. Pengurus program mengeksport jawapan borang ke hamparan dan membacanya satu demi satu. Adibah, yang membuat saringan untuk program lain, menyatakannya dengan ringkas pada bulan Ogos:
“currently I’m the one doing the screening manually”Adibah, pasukan program
Cara itu sesuai untuk beberapa puluh pemohon. Apabila mencecah beberapa ratus, ia mula membebankan.
- Permohonan membanjiri pada saat-saat akhir. Jumlah pemohon Helen meningkat daripada 680 kepada 869 dalam kira-kira 24 jam terakhir sebelum tarikh tutup, jadi pembacaan perlu dibuat dalam tempoh singkat sebelum panel bermesyuarat.
- Tafsiran kriteria berubah. Setiap penilai membawa tafsiran kriteria mereka sendiri, dan sukar untuk membaca permohonan ke-600 dengan cara yang sama seperti permohonan pertama.
- Jawapan yang kurang jelas ditolak. Apabila jawapan kabur dan masa suntuk, keputusan paling mudah ialah menggugurkan pemohon. Jawapan yang kurang jelas itu boleh datang daripada golongan yang benar-benar ingin dicapai oleh sesebuah program, seperti pemohon yang menulis dalam bahasa kedua mereka.
Ini masalah bagi pemohon sama seperti bagi pasukan. Dua orang dengan jawapan yang serupa boleh mendapat keputusan berbeza, bergantung pada siapa yang membacanya dan bila. Pemohon tidak pernah tahu bagaimana mereka dinilai, dan mereka yang paling mudah digugurkan pada petang yang meletihkan ialah mereka yang jawapannya perlu dibaca dengan lebih teliti.
Penyelesaian
Agent-E ialah platform yang dibina oleh pasukan teknologi kami untuk memberi pengurus program lapisan penilaian pertama. Gurpreet mengetuai kejuruteraannya, dan Miranda bekerjasama dengan pasukan Helen untuk kohort ini. Platform ini menggunakan model OpenAI untuk membaca dan menilai. Pasukan membinanya dengan bantuan ejen pengekodan AI (Claude Code dan Codex), yang menulis bersama kira-kira separuh daripada perubahan kodnya.
Untuk kohort ini, kerja dijalankan dalam enam langkah.
Bermula dengan dokumen program itu sendiri
Miranda memuat naik kertas cadangan sidang kemuncak dan dokumen strategi permohonan. Agent-E merangka pelan penilaian daripadanya: kriteria, wajaran setiap kriteria dan peraturan kelayakan.
Seorang pegawai meluluskan pelan sebelum penilaian
Platform ini menyekat semua penilaian sehingga seseorang meluluskan pelan, dan pelan itu dihantar kepada Helen untuk kelulusan. Apabila draf awal tidak dapat membaca peraturan yang tersembunyi dalam medan borang Word, sistem berhenti dan memaklumkannya, dan tidak membina pelan daripada separuh dokumen.
Uruskan soalan kelayakan yang rumit secara manual
Satu soalan kelayakan bertanya tentang penyertaan dalam program terdahulu, dan pemohon menjawabnya dengan pelbagai cara. Helen menapis soalan itu sendiri, lalu jumlah pemohon turun daripada 869 kepada 652. Agent-E menyemak peraturan kelayakan yang selebihnya, dengan kewarganegaraan sebagai medan penentu negara.
Uji pada beberapa pemohon dahulu
Sebelum larian penuh, Agent-E menilai sampel kecil supaya pelan boleh dibetulkan dengan kos rendah jika markahnya kelihatan salah.
Nilai semua orang dengan cara yang sama, berserta bukti
Larian penuh menilai kesemua 652 pemohon berdasarkan setiap kriteria. Setiap markah disertakan dengan sebabnya dan petikan daripada permohonan yang dirujuk, supaya penilai dapat melihat mengapa seseorang mendapat markah itu. Setiap pemohon menerima bacaan yang sama teliti, sama ada mereka yang pertama dalam timbunan atau yang ke-652.
Rujuk kes yang kurang jelas kepada manusia
Agent-E tidak meneka. Apabila ia tidak dapat membuat keputusan, ia menandakan pemohon sebagai “belum ditentukan” atau menandakannya untuk semakan, dan tidak menolaknya. Dalam kohort ini, 25 pemohon belum ditentukan dari segi kelayakan dan 7 ditandakan untuk semakan, semuanya dirujuk kepada Helen.
Helen menerima keputusan dalam bentuk hamparan, dengan satu tab yang mengumpulkan pemohon mengikut negara untuk setiap ahli panel. Panel kemudian membuat pemilihan, seperti biasa.
Keputusan
| Metrik | Keputusan |
|---|---|
| Permohonan diterima | 869 |
| Pemohon dinilai oleh Agent-E | 652, setiap seorang berdasarkan setiap kriteria |
| Masa untuk menilai semua pemohon | 44.7 minit |
| Kos model AI untuk larian penuh | USD 2.70 (kurang daripada setengah sen AS bagi setiap pemohon) |
| Pemohon dirujuk kepada manusia dan tidak ditolak | 32 (25 belum ditentukan, 7 ditandakan) |
| Masa keputusan diterima oleh pengarah program | Petang yang sama, dua hari sebelum tarikh akhirnya |
| Pemilihan akhir | Dibuat oleh panel 11 penilai negara |
Sumber: Pasukan teknologi Mereka, November 2026
Keseluruhan projek, termasuk ujian awal dan penilaian semula, menelan kos USD 3.32.1
Perbezaan yang lebih besar ialah cara masa Helen digunakan. Daripada membaca 652 permohonan, dia meneliti kes yang ditandakan dan menyediakan pek untuk panel. Semakannya juga mengesan dua pemohon yang ditandakan Agent-E untuk pengesahan tetapi sebenarnya layak. Kami menilai semula mereka pada hari yang sama.
Bagi pemohon, perbezaannya ialah keadilan. Kesemua 652 dibaca berdasarkan kriteria yang sama, dengan sebab-sebabnya ditulis, dan 32 orang yang jawapannya kurang jelas dirujuk kepada manusia dan tidak digugurkan.
Pandangan Helen selepas larian itu sederhana dan jujur:
“i think it’s going pretty smooth. or maybe because you’ve been doing it mostly for us.”Helen, pengarah program
Untuk kohort pertama ini, Miranda mengendalikan sebahagian besar platform bagi pihak pasukan program. Itulah perkara seterusnya yang perlu diubah.
Pengajaran dan langkah seterusnya
Sebahagian kerja tidak sesuai untuk AI, dan itu tidak mengapa. Soalan kelayakan berbentuk teks bebas lebih cepat diasingkan secara manual oleh Helen berbanding menulis peraturan untuknya. Kami juga menambah pengesan tulisan AI, tetapi ia kurang boleh dipercayai: ia menunjukkan “belum disahkan” bagi kebanyakan pemohon. Jadi kami memindahkannya ke tab berasingan dengan amaran supaya tidak bergantung padanya, dan tidak memasukkannya dalam markah.
Sejak larian ini, kami telah membandingkan markah Agent-E dengan semakan manual, untuk melihat apa yang dinilainya dan di mana ia boleh diperbaiki. Pasukan tujuh penilai Helen membaca permohonan secara manual, dan ia mengambil masa beberapa hari. Agent-E telah membuat bacaan pertamanya dalam masa kurang 45 minit. Coraknya jelas: Agent-E cenderung memberi markah lebih tinggi berbanding penilai kami.
Sebabnya ialah apa yang diketahui oleh setiap pihak. Agent-E hanya menilai apa yang ada dalam dokumen yang kami berikan: kertas cadangan program, kriteria dan permohonan itu sendiri. Penilai kami pernah membaca permohonan untuk program terdahulu. Mereka tahu latar belakang program, dan mereka sudah tahu rupa jawapan yang baik dan jawapan yang lemah. Semua itu tidak ditulis, jadi Agent-E tidak dapat menggunakannya.
Jadi langkah seterusnya ialah merapatkan jurang itu. Kami akan bekerjasama dengan penilai kami untuk merekodkan apa yang mereka tahu, seperti contoh permohonan yang kuat dan lemah daripada kohort terdahulu, dan memperhalusi penilaian sehingga keputusan Agent-E lebih hampir dengan cara penilai kami membaca. Pertimbangan mereka kekal sebagai kata putus; matlamatnya ialah bacaan pertama yang sepadan dengannya.
Kami juga mahu membawa Agent-E lebih jauh. Seterusnya, kami merancang menggunakannya untuk pengambilan pekerja organisasi kami sendiri, dan menyambungkannya kepada LMS kami supaya setiap pemohon yang disenaraipendekkan boleh terus didaftarkan ke dalam program mereka. Kami juga masih mahu pengurus program menjalankan penilaian sendiri, tanpa pasukan teknologi mengendalikan platform. Pasukan program lain kini sedang menilainya untuk pengambilan mereka yang seterusnya.
Sumber dan kaedah
1 Pasukan teknologi Mereka, November 2026
Angka daripada pasukan teknologi Mereka: rekod Agent-E bagi larian Oktober (pemohon yang dinilai, masa yang diambil dan kos model AI), kiraan pemohon oleh pasukan program dan perbandingan kemudian dengan markah manual penilai. Petikan diambil daripada mesej kerja pasukan, seperti yang ditulis.




