Build menjadi merah, seseorang mengklik “jalankan kembali”, build lolos, dan semua orang melanjutkan. Tampaknya tidak berbahaya, namun pengujian yang tidak stabil secara perlahan menghancurkan hal paling berharga yang dimiliki rangkaian pengujian: kepercayaan masyarakat terhadapnya. Ketika kegagalan biasanya berupa gangguan, bug yang sebenarnya juga bisa diatasi.

Panduan ini membahas mengapa pengujian menjadi tidak stabil dan cara memperbaiki setiap penyebabnya dengan benar. Kami menjalankan demo pengaturan waktu dan status bersama dengan Python 3.13, dan angka yang ditampilkan berasal dari proses tersebut. Itu adalah demonstrasi kecil yang dirancang untuk membuat kelemahan mudah dilihat, sehingga tingkat kegagalan Anda akan berbeda.

Apa itu tes yang tidak stabil?

Tes yang tidak stabil memberikan hasil yang berbeda pada kode yang sama. Ini lolos pada satu proses dan gagal pada proses berikutnya, meskipun tidak ada perubahan pada produk. Tesnya mungkin salah, atau kodenya mungkin mengandung bug yang terputus-putus. Kemungkinan kedua itulah yang menjadi alasan mengapa Anda tidak boleh mengabaikannya begitu saja.

Mengapa tes yang tidak stabil sangat mahal

• Kehilangan kepercayaan. Begitu orang menganggap warna merah berarti “mungkin tidak stabil”, mereka berhenti menyelidiki kegagalan sebenarnya.
• Waktu yang terbuang. Pengembang menghabiskan waktu berjam-jam untuk menjalankan kembali pipeline dan memeriksa kegagalan yang tidak ada hubungannya dengan perubahannya.
• Penayangan lebih lambat. Penggabungan dan pelepasan menunggu tayangan ulang, sehingga melemahkan tujuan CI/CD.
• Bug tersembunyi. Kondisi balapan pada produk dapat terlihat seperti kebisingan pengujian, dan hal tersebut merupakan hal yang merugikan dalam produksi.

Sekilas tentang penyebab umum

Penyebab 1: Pengaturan waktu dan tidur yang tetap

Ini adalah penyebab paling umum. Sebuah tes mengasumsikan bahwa pekerjaan latar belakang akan selesai setelah penundaan yang tetap. Untuk melihat efeknya, kami menulis pengujian kecil yang pengerjaannya memerlukan waktu hingga 2 ms, sedangkan pengujian hanya menunggu 1 ms sebelum memeriksa:

def flaky_timing():
    result = {}
    def work():
        time.sleep(random.uniform(0, 0.002))
        result["done"] = True
    threading.Thread(target=work).start()
    time.sleep(0.001)        # hope it has finished
    assert result.get("done")

Cara mengatasinya adalah menunggu kondisi sebenarnya, dengan batas atas yang besar:

def fixed_timing():
    result = threading.Event()
    def work():
        time.sleep(random.uniform(0, 0.002))
        result.set()
    threading.Thread(target=work).start()
    assert result.wait(timeout=1)   # continues as soon as it is ready

Kami menjalankan setiap versi 200 kali:

Hasilnya lebih dari sekedar keandalan. Versi tetap berpindah pada saat pekerjaan selesai, jadi biasanya lebih cepat juga. Tidur yang lebih lama akan membuat versi pertama lebih jarang gagal, namun setiap proses akan menjadi lebih lambat, dan masih bisa gagal pada mesin CI yang sibuk.

Prinsip yang sama berlaku dalam pengujian browser. Gunakan menunggu otomatis Penulis drama, atau Selenium menunggu secara eksplisit, alih-alih time.sleep:

# Playwright: retries until true or a timeout is reached
expect(page.get_by_text("Order placed")).to_be_visible()

# Selenium: an explicit wait for a condition
WebDriverWait(driver, 10).until(
    EC.visibility_of_element_located((By.ID, "confirmation"))
)

Penyebab 2: Status bersama dan urutan pengujian

Saat pengujian berbagi data, pengujian yang satu dapat memengaruhi pengujian lainnya, dan hasilnya bergantung pada urutan pengujian tersebut. Kedua pengujian ini menggunakan satu daftar bersama:

store = []

def test_add():
    store.append("x")
    assert len(store) == 1

def test_empty():
    assert store == []

Proses kami mengkonfirmasi hal ini, dan itulah sebabnya sebuah suite dapat memakan waktu berbulan-bulan dan kemudian rusak ketika seseorang menambahkan proses paralel atau plugin pemesanan acak. Obatnya adalah isolasi:

• Berikan setiap pengujian data baru, menggunakan perlengkapan yang mengatur dan membersihkannya. tutorial pytest kami menunjukkan caranya.
• Buat catatan unik, seperti email dengan akhiran acak, sebagai pengganti “pengguna uji” bersama.
• Bungkus pengujian basis data dalam transaksi dan kembalikan, jika pengaturan Anda mengizinkannya.
• Jalankan pengujian secara acak secara teratur, sehingga masalah ini muncul lebih awal.

Penyebab 3: Tanggal, zona waktu, dan keacakan

Ujian yang dilakukan sepanjang minggu bisa gagal pada hari Sabtu, tengah malam, atau hari terakhir setiap bulan. Jadikan waktu sebagai masukan, daripada membaca jam di dalam logika Anda:

def is_weekend(today=None):
    today = today or datetime.date.today()
    return today.weekday() >= 5

is_weekend(datetime.date(2026, 11, 7))   # True  (a Saturday)
is_weekend(datetime.date(2026, 11, 9))   # False (a Monday)

Tes-tes tersebut memberikan jawaban yang sama setiap hari. Demikian pula, tetapkan benih tetap untuk nilai acak dalam pengujian, dan catat benih tersebut saat Anda menggunakan data acak sehingga Anda dapat mereproduksi kegagalan. Jangan berasumsi urutan tertentu dari kumpulan, kamus dari sumber eksternal, atau kueri basis data tanpa ORDER BY.

Penyebab 4: Selector rapuh

Pengujian yang menemukan tombol dengan div:nth-child(3) > span rusak karena perubahan tata letak apa pun, dan mungkin gagal hanya untuk ukuran atau varian layar tertentu. Lebih memilih pencari lokasi berdasarkan apa yang dilihat pengguna, atau atribut pengujian khusus. Panduan kami untuk Pencari penulis naskah menjelaskan urutan untuk mencobanya. Animasi adalah sumber masalah lain yang sering terjadi, jadi pertimbangkan untuk menonaktifkannya di lingkungan pengujian.

Penyebab 5: Layanan dan jaringan eksternal

Jika pengujian memanggil penyedia pembayaran sebenarnya atau API pihak ketiga, maka hasilnya bergantung pada waktu aktif dan batas tarif orang lain. Tirukan panggilan tersebut untuk sebagian besar pengujian, dan simpan sejumlah kecil pemeriksaan kontrak terpisah terhadap layanan sebenarnya, sehingga Anda tetap mengetahui jika ada perubahan. Panduan kami untuk pengujian unit vs integrasi menjelaskan cara membaginya.

Cara mendiagnosis tes yang tidak stabil

1. Konfirmasi. Jalankan pengujian berkali-kali tanpa perubahan. Dengan pytest, loop shell sederhana berfungsi, dan plugin seperti pytest-repeat memberi Anda --count=100.
2. Rekam bukti. Simpan log, tangkapan layar, dan jejak untuk setiap kegagalan. Penampil jejak penulis naskah sangat berguna di sini.
3. Tekankan kondisinya. Jalankan dengan CPU terbatas, secara paralel atau acak. Membuatnya lebih sering gagal membuatnya lebih mudah untuk dipelajari.
4. Uji sendiri. Jika selalu lolos sendiri tetapi gagal di suite, curigai status bersama.
5. Cari polanya. Periksa mesin mana, waktu, dan pengujian di sekitar yang terlibat.
6. Periksa produknya. Tanyakan dengan jujur ​​apakah ini bisa menjadi kondisi balapan nyata dalam aplikasi Anda.

Apakah percobaan ulang otomatis merupakan perbaikan?

Percobaan ulang adalah jaring pengaman jangka pendek yang bermanfaat, dan bukan merupakan obat. Percobaan ulang otomatis tunggal di CI dapat membuat pekerjaan tetap berjalan saat Anda menyelidikinya, namun pengujian yang memerlukan percobaan ulang agar dapat lulus tetap memberi tahu Anda sesuatu. Lebih buruk lagi, bug produk yang terputus-putus dan gagal 20% biasanya akan melalui percobaan ulang tanpa diketahui.

Gunakan percobaan ulang dengan aturan berikut: batasi menjadi satu atau dua, catat setiap tes yang memerlukannya, dan perlakukan daftar itu sebagai daftar tugas Anda. Tes yang dilaporkan sebagai “lulus pada percobaan ulang” harus dianggap sebagai masalah yang perlu diselidiki, bukan keberhasilan.

Proses tim untuk pengujian yang tidak stabil

1. Ukur. Lacak pengujian mana yang gagal, lalu teruskan penerapan yang sama. Banyak alat CI dan reporter pengujian yang dapat menunjukkan hal ini.
2. Karantina. Pindahkan pengujian tidak stabil yang telah dikonfirmasi keluar dari proses pemblokiran, sehingga tidak lagi mengganggu semua orang, namun tetap menjalankannya dan melacaknya.
3. Tetapkan pemilik dan tenggat waktu. Karantina tanpa tenggat waktu hanya akan menjadi kuburan.
4. Perbaiki atau hapus. Jika suatu tes tidak layak untuk diperbaiki, hapus tes tersebut, dan periksa apakah cakupannya masih ada di tempat lain.
5. Mencegah. Jalankan pengujian baru beberapa kali sebelum digabungkan. Sebuah tes yang gagal sekali dalam lima puluh kali percobaan lebih baik dilakukan sekarang daripada dalam enam bulan.

Perlakukan pengujian yang tidak stabil sebagai bug dengan prioritas, dan bukan sebagai kebisingan latar belakang. Tingkat keparahan dan prioritas juga berlaku di sini, seperti yang dibahas dalam tingkat keparahan vs prioritas. Jika kelemahan tersebar luas, baca tentang kesalahan otomatisasi pengujian yang lebih luas, dan pertimbangkan apakah Anda melakukan terlalu banyak pengujian di tingkat browser.

Penutup

Tes yang tidak stabil terasa acak, tetapi jarang terjadi. Hampir setiap orang memiliki asumsi tentang waktu, keteraturan, data, atau lingkungan yang tidak selalu benar. Pilih pengujian yang paling sering gagal dalam proses Anda minggu ini. Jalankan lima puluh kali, temukan asumsinya, dan perbaiki selamanya. Satu perbaikan nyata mengajarkan sebuah tim lebih dari seratus tayangan ulang yang pernah ada.

Pertanyaan yang sering diajukan

Teruslah belajar