Yapı kırmızıya döner, birisi “yeniden çalıştır”a tıklar, geçer ve herkes yoluna devam eder. Zararsız gibi görünse de kesintili testler yavaş yavaş bir test paketinin sahip olduğu en değerli şeyi yok eder: insanların ona olan güveni. Arızalar genellikle gürültüden ibaret olduğunda, gerçek hatalar da ortadan kalkar.

Bu kılavuz, testlerin neden hatalı hale geldiğini ve her bir nedenin doğru şekilde nasıl düzeltileceğini kapsar. Zamanlamayı ve paylaşılan durum demolarını Python 3.13’te çalıştırdık ve gösterilen sayılar bu çalıştırmalardan geliyor. Bunlar, pullanmanın kolayca görülmesini sağlamak için tasarlanmış küçük gösterimlerdir, dolayısıyla kendi başarısızlık oranlarınız farklı olacaktır.

Kesintili test nedir?

Kesintili test aynı kod üzerinde farklı sonuçlar verir. Üründe hiçbir şey değişmese bile, bir çalıştırmada başarılı oluyor ve sonraki seferde başarısız oluyor. Test hatalı olabilir veya kod gerçekten aralıklı bir hata içeriyor olabilir. Bu ikinci olasılık tam olarak onları göz ardı etmemenizin nedenidir.

Kesintili testler neden bu kadar maliyetli?

• Güven kaybı. İnsanlar kırmızının “muhtemelen belirsiz” anlamına geldiğini varsaydıklarında, gerçek başarısızlıkları araştırmayı bırakırlar.
• Zaman kaybı. Geliştiriciler ardışık düzenleri yeniden çalıştırmak ve yaptıkları değişiklikle hiçbir ilgisi olmayan hataları incelemek için saatler harcıyor.
• Daha yavaş yayın. Birleştirmeler ve sürümler yeniden çalıştırmalarda bekleyerek CI/CD amacını zayıflatır.
• Gizli hatalar. Üründeki yarış koşulları tıpkı test gürültüsü gibi görünebilir ve üretime zarar verenler bunlardır.

Bir bakışta yaygın nedenler

Neden 1: Zamanlama ve sabit uykular

Bu en yaygın nedendir. Test, arka plan çalışmasının sabit bir gecikmeden sonra tamamlanacağını varsayar. Etkiyi görmek için, çalışmanın 2 ms’ye kadar sürdüğü ve testin kontrol etmeden önce yalnızca 1 ms beklediği küçük bir test yazdık:

def flaky_timing():
    result = {}
    def work():
        time.sleep(random.uniform(0, 0.002))
        result["done"] = True
    threading.Thread(target=work).start()
    time.sleep(0.001)        # hope it has finished
    assert result.get("done")

Çözüm, cömert bir üst limitle gerçek durumu beklemektir:

def fixed_timing():
    result = threading.Event()
    def work():
        time.sleep(random.uniform(0, 0.002))
        result.set()
    threading.Thread(target=work).start()
    assert result.wait(timeout=1)   # continues as soon as it is ready

Her sürümü 200 kez çalıştırdık:

Sonuç, güvenilirlikten daha fazlasıdır. Sabit versiyon iş yapıldığı anda hareket eder, dolayısıyla genellikle daha hızlıdır. Daha uzun bir uyku, ilk sürümün daha az sıklıkta başarısız olmasına neden olur, ancak bu durumda her çalıştırma daha yavaş olur ve yoğun bir CI makinesinde yine de başarısız olabilir.

Tarayıcı testlerinde de aynı prensip geçerlidir. time.sleep yerine Oyun Yazarı‘nın otomatik beklemesini veya açık Selenium beklemelerini kullanın:

# Playwright: retries until true or a timeout is reached
expect(page.get_by_text("Order placed")).to_be_visible()

# Selenium: an explicit wait for a condition
WebDriverWait(driver, 10).until(
    EC.visibility_of_element_located((By.ID, "confirmation"))
)

Neden 2: Paylaşılan durum ve test sırası

Testler verileri paylaştığında, biri diğerini etkileyebilir ve sonuç, çalıştırılma sırasına bağlıdır. Bu iki test, tek bir paylaşılan liste kullanır:

store = []

def test_add():
    store.append("x")
    assert len(store) == 1

def test_empty():
    assert store == []

Çalışmamız bunu doğruladı ve bu nedenle bir paket aylarca geçebilir ve birisi paralel çalışmalar veya rastgele bir sipariş eklentisi eklediğinde bozulabilir. Tedavi izolasyondur:

• Her teste, onu ayarlayan ve temizleyen bir donanım kullanarak yeni veriler verin. pytest eğiticimiz bunun nasıl yapılacağını gösterir.
• Paylaşılan bir “test kullanıcısı” yerine rastgele bir sonek içeren bir e-posta gibi benzersiz kayıtlar oluşturun.
• Veritabanı testlerini bir işlem içine sarın ve kurulumunuzun izin verdiği ölçüde geri alın.
• Bu sorunların erken ortaya çıkması için testleri düzenli olarak rastgele sırayla çalıştırın.

Neden 3: Tarihler, saat dilimleri ve rastgelelik

Tüm haftayı geçen bir sınav cumartesi günü, gece yarısı ya da ayın son günü başarısız olabilir. Mantığınızın içindeki saati okumak yerine zamanı bir girdi haline getirin:

def is_weekend(today=None):
    today = today or datetime.date.today()
    return today.weekday() >= 5

is_weekend(datetime.date(2026, 11, 7))   # True  (a Saturday)
is_weekend(datetime.date(2026, 11, 9))   # False (a Monday)

Bu testler her gün aynı cevabı veriyor. Benzer şekilde, testlerdeki rastgele değerler için sabit bir tohum belirleyin ve rastgele verileri kullandığınızda bunu günlüğe kaydedin, böylece bir başarısızlığı yeniden oluşturabilirsiniz. Setlerden, dış kaynaklardan alınan sözlüklerden veya ORDER BY numarası olmayan veritabanı sorgularından belirli bir sıra almayın.

Neden 4: Kırılgan seçiciler

div:nth-child(3) > span içeren bir düğme bulan bir test, herhangi bir düzen ayarında kesintiye neden olur ve yalnızca bazı ekran boyutları veya çeşitleri için başarısız olabilir. Kullanıcıların gördüklerine veya özel test özelliklerine göre konum belirleyicileri tercih edin. Oyun yazarı bulucularına ilişkin kılavuzumuz, bunları deneme sırasını açıklamaktadır. Animasyonlar da sık karşılaşılan başka bir sorun kaynağıdır, bu nedenle bunları test ortamlarında devre dışı bırakmayı düşünün.

Neden 5: Dış hizmetler ve ağlar

Bir test gerçek bir ödeme sağlayıcısını veya üçüncü taraf bir API’yi çağırırsa, sonucu başka birinin çalışma süresine ve oran sınırlarına bağlıdır. Çoğu test için bu çağrılarla dalga geçin ve gerçek hizmete karşı az sayıda ayrı sözleşme kontrolü bulundurun, böylece değişip değişmediğini öğrenmeye devam edin. Birim ve entegrasyon testlerine ilişkin kılavuzumuzda bunların nasıl bölüneceği açıklanmaktadır.

Kesintili bir test nasıl teşhis edilir

1. Onaylayın. Testi değişiklik yapmadan birçok kez çalıştırın. Pytest ile basit bir kabuk döngüsü çalışır ve pytest-repeat gibi bir eklenti size --count=100 verir.
2. Kanıtları kaydedin. Her arıza için günlükleri, ekran görüntülerini ve izleri kaydedin. Oyun yazarının iz görüntüleyicisi burada özellikle kullanışlıdır.
3. Koşulları vurgulayın. Sınırlı CPU ile paralel veya rastgele sırada çalıştırın. Daha sık başarısız olmak, çalışmayı kolaylaştırır.
4. Tek başına test edin. Her zaman tek başına geçiyor ancak pakette başarısız oluyorsa, paylaşılan durumdan şüphelenin.
5. Örüntüleri arayın. Hangi makinelerin, günün saatlerinin ve komşu testlerin dahil olduğunu kontrol edin.
6. Ürünü kontrol edin. Uygulamanızda bunun gerçek bir yarış koşulu olup olamayacağını dürüstçe sorun.

Otomatik yeniden denemeler bir çözüm müdür?

Yeniden denemeler kısa vadeli yararlı bir güvenlik ağıdır ve çare değildir. CI’daki tek bir otomatik yeniden deneme, siz araştırma yaparken işinizin devam etmesini sağlayabilir ancak geçmesi için yeniden denemeyi gerektiren bir test size hâlâ bir şeyler söylüyordur. Daha da kötüsü, zamanın %20’sinde başarısız olan gerçek bir aralıklı ürün hatası, genellikle yeniden denemeden fark edilmeden geçecektir.

Bu kurallarla yeniden denemeleri kullanın: bunları bir veya iki ile sınırlayın, gereken her testi kaydedin ve bu listeyi yapılacaklar listeniz olarak değerlendirin. “Yeniden denemede başarılı” olarak bildirilen bir test, bir başarı olarak değil, araştırılması gereken bir sorun olarak sayılmalıdır.

Kesintili testler için bir ekip süreci

1. Ölçün. Hangi testlerin başarısız olduğunu takip edin ve ardından aynı işlemi iletin. Birçok CI aracı ve test raportörü bunu gösterebilir.
2. Karantina. Onaylanmış bir hatalı testi, herkesin dikkatini dağıtmaması için engelleme çalışmasının dışına çıkarın, ancak çalıştırmaya ve izlemeye devam edin.
3. Bir sahip ve son tarih atayın. Son tarihi olmayan bir karantina, mezarlığa dönüşür.
4. Düzeltin veya silin. Bir test düzeltilmeye değer değilse kaldırın ve kapsamının başka bir yerde hala mevcut olup olmadığını kontrol edin.
5. Önleyin. Birleştirmeden önce yeni testleri birkaç kez çalıştırın. Elli denemede bir kez başarısız olan bir testi şimdi altı ay sonra yakalamaktan daha iyi yakalayabilirsiniz.

Kesintili bir testi arka plan gürültüsü olarak değil, öncelikli bir hata olarak değerlendirin. Önem derecesi ve öncelik bölümünde ele alındığı üzere önem derecesi ve öncelik burada da geçerlidir. Kesintiler yaygınsa, daha kapsamlı test otomasyonu hataları hakkında bilgi edinin ve tarayıcı düzeyinde çok fazla testinizin olup olmadığını değerlendirin.

Son sözler

Kesintili testler rastgele gibi görünür, ancak nadiren öyledir. Neredeyse herkes zaman, düzen, veri veya çevre hakkında her zaman doğru olmayan bir varsayıma varır. Bu hafta boru hattınızda en sık başarısız olan testi seçin. Elli kez çalıştırın, varsayımı bulun ve bunu tamamen düzeltin. Gerçek bir düzeltme, bir takıma yüzlerce tekrardan daha fazlasını öğretir.

Sık sorulan sorular

Öğrenmeye devam et