Ditemukan beberapa pemberitaan di media massa yang tidak tepat dalam menjelaskankan mekanisme pengujian akurasi ICR vendor. Untuk menghindari terjadinya kesimpangsiuran, kami jelaskan sbb.
- Untuk mendapatkan hasil test akurasi ICR yang valid, diperlukan testing set yang memenuhi kaidah statistik. Di antaranya:
- independent, tidak pernah dipakai dalam proses training maupun parameter tuning dalam proses pembuatan engine recognition
- jumlah sampel mencukupi
- Mengingat keterbatasan waktu, tim BPPT hanya mampu melakukan
ujicoba akurasi pada limited sampel yang independen. Dengan
demikian setidaknya syarat “1. independensi” terpenuhi.
DIarsipkan di bawah: Uncategorized
syarat “a)” itu apa ya?
Kesan saya dari penjelasan diatas, sepertinya KPU tidak memberikan standar syarat kelulusan yang harus dipenuhi vendor ICR untuk menjadi supplier infrastruktur IT (Yang bisa dilakukan oleh BPPT sekedar ujicoba. Alasan: keterbatasan waktu?). Kalau ini benar, saya kira ini sungguh disayangkan.
Selain itu, saya kira “bias” dalam character recognition justru diperlukan agar tingkat akurasi bisa ditingkatkan. Lebih mudah memberi 5 menit petunjuk cara menulis yang 99.99% bisa dibaca dengan benar daripada menyuruh software memperbaiki algoritma rekognisi yang hanya bisa menaikkan akurasi beberapa persen untuk tulisan tangan asal-asalan.
Dear Mas Agus,
Terima kasih atas masukan2-nya.
1. Bias menyebabkan akurasi yang diperoleh dalam uji coba tersebut tidak “fair”, atau over estimation. Akurasi tinggi dalam ujicoba memang sangat menggembirakan, tetapi bagaimana mekanisme mengeluarkan angka tersebut tetap harus memenuhi kaidah-kaidah dalam pattern recognition. Penjelasannya dapat dilihat di referensi [1] di bawah.
2. Untuk melakukan ujicoba yang baik, memang idealnya testing set itu memiliki data berskala besar. Secara matematis, paper Isabele Guyon [2] di bawah menjelaskan, untuk akurasi 99% (error 1%) diperlukan setidaknya 10 ribu sampel.
Semoga penjelasan ini bermanfaat.
Salam hangat.
Referensi:
1.Trevor Hastie, Robert Tibshirani, Jerome Friedman: The Elements of Statistical Learning: DataMining, Inferences and Prediction, Springer, 2001
2.Isabelle Guyon, John Makhoul, Richard Schwartz & Vladimir Vapnik: ”What Size Test Set Gives Good Error Rate Estimates?”, IEEE Trans. On Pattern Analysis & Machine Intelligence, Vol.20, No.1, pp.52-64, January 1998
Mas Agus,
Maaf ada yang tertinggal dalam jawaban sebelumnya. Tim BPPT sejak diikutsertakan dalam sistem TI untuk Pemilu 2009 sudah melakukan hal-hal sbb.
1. Review terhadap setiap vendor ICR
2. Melakukan standarisasi software ICR
untuk memenuhi spesifikasi yang
ditetapkan KPU
3. Melakukan evaluasi terhadap vendor ICR
sesuai standar di atas
4. Membuat SOP kepada pada operator di lapangan
untuk melaksanakan proses menggunakan ICR
Kepada para stakeholder, dalam hal ini KPU Kabupaten/Kota, BPPT telah melakukan panduan teknis yang fair dan independen untuk memilih vendor ICR.
Salam hangat
Menurut saya sumber permasalahannya teknologi ICR itu sendiri. Kalo jumlah KPPS ada 500 ribu, berarti ada sebanyak itu pula kemungkinanan perbedaan tulisan tangan yang akan discan.
Tanpa sosialisasi yang memadai, apalagi untuk SDM di daerah sangat mungkin terjadi kesalahan pembacaan baik karena tulisan yang tidak standar, terlipat dsb. Bahkan untuk teknologi OMR sendiri yang sudah proven dipakai di SPMB/Tes Pegawai Negeri masih mungkin timbul kesalahan dan dikelola oleh tenaga terlatih. Apalagi ICR dengan kemungkinanan error lebih besar serta dikelola SDM tidak terlatih terutama di KPUD daerah.
Menurut saya, untuk pilpres nanti kembalikan saja metoda entrinya pake manual (nggak usah pake teknologi –ICR– canggih tapi ribet) kayak tahun 2004. Kalo scannernya masih mau dipake, bisa untuk scan bukti formulirnya aja.
Owh, jadi ngerti saya.
Setelah membaca posting ini dan komen2 dari Tim TI BPPT, kesimpulannya adalah Tim TI BPPT juga mengakui bahwa kemungkinan besar memang ada masalah dalam akurasi software ICR yang dipilih. Software ICR yang digunakan saat ini kemungkinan tidak akurat karena memang Tim IT BPPT tidak melakukan pengujian yang mencukupi.
Saya sangat memaklumi posisi Tim IT BPPT sebagai pelengkap penderita dalam kekacauan IT Pemilu. Kadang memang susah jadi orang pinter….
Implementasi teknologi form processing (OMR, ICR) sebenarnya tergantung pada persiapan implementasi yang menyangkut desain form awal, cetakan , sosialisasi cara mengisi form dan pelatihan operator yang cukup disertai praktek.
Kalau hal diatas tidak dilakukan maka memang dikhawatirkan semua teori tentang akurasi di form processing bisa jadi gugur semua. Pada kondisi ini saya setuju dengan Mas Iyan bahwa bisa jadi data entry bisa jadi lebih cepat.
Lepas dari segala yang terjadi, saya salut dengan perjuangan tim BPPT mengawal tim IT KPU dengan berbagai kendala dan keterbatasan yang terjadi, baik dari infrastruktur maupun waktu yang “amat” – “sangat” “kelewat” singkat-”sekali”.
wah,… ternyata gitu tho…
tapi menurut gw, yang orang awam ini. tim IT BPPT udah memberikan kontribusi nya dengan baek. mungkin pelaksanan nya di lapangan yang kacau balau jadi ngebuat lambat untuk menerima hasil nya di pusat.
bhs kumuh nya “human error” gituh..
maju trus TI indonesia..!! :p