Membangun Sistem Computer Vision yang Dapat Dipercaya

Model dengan akurasi tinggi belum tentu menjadi sistem yang baik. Di luar notebook eksperimen, sebuah model harus menghadapi perubahan pencahayaan, perangkat berbeda, data yang tidak lengkap, dan kebutuhan pengguna yang sering kali lebih kompleks daripada satu angka metrik.

Mulai dari masalah, bukan model

Sebelum memilih arsitektur, definisikan keputusan apa yang akan dibantu oleh sistem. Diskusikan biaya dari false positive dan false negative bersama pengguna. Konteks ini menentukan data, metrik, serta ambang keputusan yang masuk akal.

Sistem yang dapat dipercaya lahir dari batasan yang dipahami, bukan dari klaim bahwa model selalu benar.

Data yang mewakili kondisi nyata

Dataset perlu mencakup variasi yang akan ditemui saat digunakan. Audit sumber data, distribusi kelas, kualitas anotasi, serta kemungkinan kebocoran antara data latih dan data uji.

• Pisahkan data berdasarkan subjek atau lokasi jika diperlukan.
• Dokumentasikan aturan anotasi dan kasus ambigu.
• Simpan set uji yang benar-benar tidak tersentuh selama iterasi.

Evaluasi secara berlapis

Jangan berhenti pada metrik agregat. Pecah hasil berdasarkan perangkat, kelompok data, tingkat kesulitan, dan kondisi pengambilan. Analisis kesalahan sering memberi arah perbaikan yang lebih bernilai daripada sekadar menambah epoch.

precision = true_positive / predicted_positive
recall    = true_positive / actual_positive

Siapkan observabilitas

Setelah rilis, pantau perubahan distribusi input, kepercayaan prediksi, latensi, dan umpan balik pengguna. Model adalah satu komponen dari sistem yang harus terus dievaluasi.