Prompt Engineering 07: Iterasi dan Debugging Prompt

Menulis prompt mirip menulis kode: versi pertama jarang langsung sempurna. Bedanya, banyak orang memperbaiki prompt dengan cara coba-coba acak, yaitu menambah kalimat, mengganti kata, dan mengulang sampai "kebetulan bagus". Materi ini membahas cara yang lebih sistematis.

Yang akan dipelajari

• Membaca pola kegagalan
• Mengubah satu hal per percobaan
• Menguji dengan beberapa input, bukan satu
• Mencatat versi prompt
• Kapan memulai percakapan baru

Langkah 1: kenali jenis kegagalan

Sebelum memperbaiki, tentukan apa yang salah. Kegagalan umumnya masuk ke salah satu jenis ini:

Jenis kegagalan	Gejala	Perbaikan yang biasanya berhasil
Salah paham tugas	Mengerjakan hal yang berbeda	Perjelas tugas di kalimat pertama
Kurang konteks	Hasil generik, tidak cocok situasimu	Tambahkan pembaca, tujuan, latar (materi 03)
Format salah	Isi benar, bentuk salah	Tentukan format atau beri contoh (materi 04–05)
Fakta salah	Klaim keliru atau dikarang	Berikan sumber, izinkan "tidak tahu" (materi 09)
Penalaran salah	Langkah logis keliru	Minta langkah bertahap, pecah tugas (materi 06)
Mengabaikan instruksi	Instruksi tertentu tidak diikuti	Pindahkan ke posisi yang menonjol, perjelas, jelaskan alasannya
Terlalu meniru contoh	Hasil seragam	Variasikan contoh (materi 04)

Mengenali jenisnya mencegah perbaikan yang salah sasaran, misalnya menambah contoh format padahal masalahnya kurang konteks.

Langkah 2: ubah satu hal per percobaan

Jika kamu mengubah lima hal sekaligus dan hasilnya membaik, kamu tidak tahu perubahan mana yang berpengaruh. Lebih buruk lagi, satu perubahan bisa membantu sementara perubahan lain merusak.

Cara kerja:

1. Simpan prompt saat ini sebagai versi 1.
2. Buat satu perubahan yang menargetkan kegagalan yang sudah dikenali.
3. Jalankan dan bandingkan.
4. Jika membaik, simpan sebagai versi baru. Jika tidak, kembali ke versi sebelumnya.

Langkah 3: uji dengan beberapa input

Prompt yang berhasil untuk satu contoh belum tentu berhasil untuk yang lain. Siapkan 3–5 input uji yang berbeda, termasuk satu kasus sulit, dan jalankan setiap versi prompt pada semuanya.

Contoh untuk prompt "ringkas abstrak":

• Abstrak pendek dan jelas
• Abstrak panjang dengan banyak angka
• Abstrak yang tidak menyebut dataset
• Abstrak dari bidang di luar keahlianmu

Jika versi baru memperbaiki satu input tetapi merusak input lain, itu belum perbaikan. Materi 16 mengembangkan ide ini menjadi evaluasi yang lebih formal.

Langkah 4: catat versi prompt

Untuk prompt yang sering dipakai, simpan catatan sederhana:

## Prompt: ringkasan abstrak untuk ulasan jurnal

### v3 (dipakai)
[isi prompt]
- Perubahan: menambah aturan "tulis 'tidak disebutkan' jika dataset tidak ada"
- Alasan: v2 mengarang nama dataset pada abstrak #3

### v2
[isi prompt]
- Perubahan: menambah format tabel

Catatan ini menghemat waktu ketika kamu lupa kenapa sebuah kalimat ada di prompt, atau ketika ingin kembali ke versi yang lebih baik.

Langkah 5: tanyakan pada model

Model juga bisa membantu men-debug prompt:

Saya memakai prompt berikut, tetapi hasilnya selalu [jelaskan masalahnya].
Contoh hasil yang tidak saya inginkan ada di <hasil>.
Analisis kemungkinan penyebabnya dari isi prompt, lalu usulkan
versi perbaikan dengan perubahan sesedikit mungkin.

<prompt>...</prompt>
<hasil>...</hasil>

Perlakukan usulannya sebagai hipotesis yang tetap harus diuji, bukan jaminan.

Percakapan baru vs melanjutkan

Situasi	Tindakan
Hasil hampir benar, perlu sedikit penyesuaian	Lanjutkan percakapan: "Bagus, tapi persingkat poin 3"
Model sudah "terjebak" pada interpretasi yang salah	Mulai baru dengan prompt yang diperbaiki
Sedang menguji versi prompt	Selalu mulai baru, agar percakapan sebelumnya tidak memengaruhi
Percakapan sudah sangat panjang	Mulai baru dan bawa ringkasan konteks yang penting

Coba sendiri

Ambil satu prompt yang sering kamu pakai. Jalankan pada tiga input berbeda, catat kegagalannya dengan tabel jenis kegagalan di atas, lalu lakukan maksimal tiga iterasi dengan satu perubahan per iterasi.

Kesalahan yang sering terjadi

Kesalahan	Akibat
Mengubah banyak hal sekaligus	Tidak tahu perubahan mana yang berpengaruh
Menguji hanya dengan satu input	Prompt "berhasil" tetapi gagal di kasus nyata
Menambah instruksi terus-menerus	Prompt menjadi panjang, bertentangan, dan sulit dipelihara
Menguji di percakapan yang sama	Hasil dipengaruhi percakapan sebelumnya
Tidak menyimpan versi yang berhasil	Sulit kembali ketika perubahan berikutnya merusak

Latihan

1. Prompt "Terjemahkan abstrak ini ke bahasa Inggris akademik" menghasilkan terjemahan yang bagus, tetapi istilah teknis seperti "citra panoramik" diterjemahkan berbeda-beda di setiap percobaan. Apa jenis kegagalannya dan perubahan apa yang akan kamu coba?
2. Kamu sudah memperbaiki prompt dan hasil untuk input A membaik, tetapi input B memburuk. Apa yang sebaiknya kamu lakukan?
3. Prompt-mu sudah 600 kata dengan 25 aturan, dan model mulai mengabaikan sebagian aturan. Usulkan cara membenahinya.

Contoh jawaban

Latihan 1

Jenisnya konteks kurang (model tidak tahu istilah baku yang kamu pakai). Perubahan pertama: tambahkan glosarium.

Gunakan padanan istilah berikut secara konsisten:
- citra panoramik → panoramic radiograph
- segmentasi gigi → tooth segmentation
- anotasi → annotation

Alasannya: satu perubahan yang langsung menargetkan masalah. Jika masih tidak konsisten, baru coba perubahan lain.

Latihan 2

Jangan langsung memakai versi baru. Analisis perbedaan A dan B: kemungkinan perubahan itu terlalu spesifik untuk A. Coba perubahan yang lebih umum, atau tambahkan aturan yang membedakan kedua kasus. Uji ulang pada semua input, tidak hanya A dan B.

Latihan 3

Beberapa langkah: (1) gabungkan aturan yang mirip dan hapus yang tidak lagi diperlukan (uji apakah hasil berubah tanpa aturan tersebut); (2) kelompokkan aturan dengan subjudul atau tag; (3) ubah daftar larangan menjadi deskripsi hasil yang diinginkan; (4) jika tugasnya memang kompleks, pecah menjadi rantai prompt (materi 06); (5) tambahkan satu atau dua contoh yang mewakili banyak aturan sekaligus.

Alasannya: prompt panjang dengan banyak aturan cenderung saling bertentangan dan menenggelamkan aturan yang penting. Prompt yang lebih ringkas dan terstruktur lebih mudah diikuti dan dipelihara.