Bir ekip gururla %95 kod kapsamını rapor ediyor, ardından “kapsanan” bir satıra bir hata gönderiyor. Bu bir çelişki değil. Kapsam dar bir soruyu yanıtlıyor: testler bu kodu yürüttü mü? Sonucu kontrol edip etmedikleri tamamen farklı bir sorudur.

Python’u cover.py 7.17 ve pytest 9.2 ile kullandık. Aşağıdaki her sayı ve rapor kendi çalışmamıza aittir. Fikirler her dilde geçerlidir.

Kod kapsamı nedir?

Kod kapsamı, otomatik testleriniz çalışırken kodunuzun çalışan yüzdesidir. Bir araç, hangi satırların ve isteğe bağlı olarak hangi dalların yürütüldüğünü kaydeder ve ardından neyin kaçırıldığını bildirir.

En çok tersi durumda kullanışlıdır. Bir alandaki kapsama alanının düşük olması, size kesinlikle testlerin bu alanı uygulamadığını gösterir. Yüksek kapsama alanı size çok daha az şey anlatır.

Kapsam türleri

Her seviye bir üst seviyeden daha katıdır. Çoğu ekip hat ve şube kapsamını takip eder. Durum kapsamı ve MC/DC, takım desteğinin uzmanlaştığı havacılık ve otomotiv standartlarında görülür.

Ölçtüğümüz kod

def shipping_fee(total, is_member, express=False):
    if total < 0:
        raise ValueError("total cannot be negative")
    fee = 0 if total >= 1000 else 50
    if is_member:
        fee = max(fee - 25, 0)
    if express:
        fee += 100
    return fee

İlk test dosyamızda iki test vardı:

def test_regular_order():
    assert shipping_fee(500, False) == 50

def test_member_express():
    assert shipping_fee(500, True, express=True) == 125

Şube ölçümü açıkken çalıştırdık:

coverage run --branch -m pytest test_shipping.py
coverage report -m

Raporun okunması

Name          Stmts   Miss Branch BrPart  Cover   Missing
---------------------------------------------------------
shipping.py       9      1      6      1    87%   3

• Strmts 9, Miss 1: dokuz yürütülebilir ifade, biri hiç çalıştırılmadı.
• Şube 6, BrBölüm 1: üç if karar, altı olası sonuç verir. Bir karar yalnızca tek bir yöne gitti.
• Eksik 3: 3. satır, raise ValueError, hiç çalışmadı. Hiçbir test negatif toplamı geçemedi.

Düzeltme, hata yolu için bir testtir. Ayrıca büyük bir sipariş için bir test de ekledik:

def test_free_over_1000():
    assert shipping_fee(1000, False) == 0

def test_negative_total():
    with pytest.raises(ValueError):
        shipping_fee(-1, False)

Her iki dosyada da raporda %100 görüldü ve eksik satır veya kısmi dallanma yoktu. Hata yolları, klasik boşluk kapsamı bulgularıdır; bu nedenle, eşdeğerlik bölümleme gibi tekniklerle tasarlanan geçersiz giriş testleri onunla çok iyi eşleşir.

Raporun sakladığı şey

İlk rapora tekrar bakın. Sadece 3. satırın eksik olduğu söylendi. Ancak ilk iki testin her ikisi de toplam 500 adet kullandı; dolayısıyla 1000 veya üzeri siparişler için ücretsiz gönderim kuralı hiçbir zaman test edilmedi ve raporda bu kural işaretlenmedi.

Bunun nedeni fee = 0 if total >= 1000 else 50‘in tek satırda olmasıdır. cover.py satırlar arasındaki dalları ölçer, dolayısıyla tek bir satır içindeki koşullu ifade, yürütülen tek bir ifade olarak sayılır. Bu kuralda >= yerine > gibi bir hata olsaydı, ilk paket hala hiçbir ipucu olmadan %87 gösteriyordu. Onu yakalayan şey, sınır değeri analizinde açıklandığı gibi, bizzat sınırın testleridir.

Hiçbir kontrol olmadan %100 kapsam

Daha sonra, her yolu çağıran ancak hiçbir şey öne sürmeyen, kasıtlı olarak zayıf bir test yazdık:

def test_runs_everything_but_checks_nothing():
    shipping_fee(500, True, express=True)
    shipping_fee(1000, False)
    shipping_fee(500, False)
    try:
        shipping_fee(-1, False)
    except ValueError:
        pass

shipping.py       9      0      6      0   100%

%100 hat ve şube kapsamına ulaştı. İşlev herhangi bir sayıyı döndürebilir ve bu test yine de başarılı olacaktır. Bu, kapsamın temel sınırıdır: doğrulamayı değil, yürütmeyi ölçer.

Testlerin gerçekten hataları yakalayıp yakalamadığını ölçmek için mutasyon testini kullanın. Python için mutmut, Java için PIT veya JavaScript için Stryker gibi bir araç, kodunuzda >=‘yi >‘e çevirmek gibi küçük değişiklikler yapar ve bir testin başarısız olup olmadığını kontrol eder. İddiasız testimiz her mutasyonun hayatta kalmasına izin verecektir.

Hangi hedefi belirlemeli

Evrensel olarak doğru bir sayı yoktur. Pratik rehberlik:

• %100’ün peşinden koşmayın. Son yüzde birkaçı genellikle önemsiz kodları test etmek veya yalnızca çizgilere değinen testler yazmak anlamına gelir.
• Birçok ekip genel olarak kabaca %70 ila 85’i hedefliyor ve temel iş mantığına ilişkin beklentiler daha yüksek.
• Rakamı değil, trendi izleyin. Her yayında düşen kapsama alanı bir uyarı işaretidir.
• Eski kodun tamamını bir kerede zorlamak yerine, çekme isteklerinde yeni kodun kapsanmasını zorunlu kılın.
• Oluşturulan kod gibi önemli olmayan şeyleri açık kurallarla hariç tutun.

Goodhart yasası geçerlidir: Bir önlem hedef haline geldiğinde iyi bir önlem olmaktan çıkar. Zor hedefler, iddiasız örneğimiz gibi testleri teşvik eder.

Dile göre araçlar

CI’da kapsam

Kapsamı CI ardışık düzeninizin bir parçası olarak çalıştırın ve incelemecilerin hangi yeni satırların test edilmediğini görebilmesi için raporu yayınlayın. Coverage.py ile coverage report --fail-under=80 bir eşiğin altındaki derlemede başarısız oluyor. Herhangi bir eşiği makul düzeyde tutun ve bunu yeni koda ilişkin bir kuralla birleştirin; böylece tek bir büyük eski dosya her değişikliği engellemez.

Kapsamın ötesinde: sorulacak daha iyi sorular

• Testler kodun riskli ve sık değiştirilen kısımlarını kapsıyor mu?
• Sadece mutlu yol değil, sınırlar ve hata yolları da test ediliyor mu?
• Bu satır yanlış olsaydı test başarısız olur muydu?
• Testler her değişiklikte yürütülecek kadar hızlı ve kararlı mı?

Bunlar herhangi bir test stratejisine aittir. Kapsam yalnızca ilkinin yanıtlanmasına yardımcı olur.

Kodu hariç tutma ve HTML raporlarını okuma

Hata ayıklama yardımcıları veya yalnızca bir komut dosyası elle başlatıldığında çalışan bir blok gibi bazı kodlar doğrudan test etmeye değmez. kapsama.py, yorum içeren satırları hariç tutmanıza olanak tanır:

if __name__ == "__main__":  # pragma: no cover
    main()

Ayrıca yapılandırmada ölçülecek hariç tutmaları ve kaynak klasörleri de ayarlayabilirsiniz, örneğin pyproject.toml‘de:

[tool.coverage.run]
branch = true
source = ["shop"]

[tool.coverage.report]
show_missing = true
exclude_also = ["if TYPE_CHECKING:"]

Hariç tutmaları dikkatli kullanın ve bunları kod gibi gözden geçirin. Her biri bazı hatların asla kontrol edilmeyeceği kararıdır. Sadece sayıyı yükseltmek için test edilmesi zor bir hata işleyicisini hariç tutmak amacı boşa çıkarır.

Günlük işler için HTML raporu terminal tablosundan daha kullanışlıdır. coverage html‘i çalıştırın ve htmlcov/index.html‘yi açın. Her dosya yürütülen satırlar yeşil, kaçırılan satırlar kırmızı ve kısmi dallanmalar sarı renkte gösterilir, böylece hangi if‘ün asla başka bir yol izlemediğini bir bakışta görebilirsiniz. Pek çok editör kenar boşluğunun kapsamını da gösterebilir; bu da boşlukları daha sonra değil, siz kodu yazarken görünür hale getirir.

Yeniden düzenleme öncesi kapsam

Kapsam aynı zamanda yeniden düzenleme öncesinde bir güvenlik kontrolüdür. Bir modülü yeniden yapılandırmayı planlıyorsanız önce raporuna bakın. Kırmızı alanlarda davranış değiştiğinde sizi uyaracak testler yoktur; bu nedenle başlamadan önce mevcut davranışı yakalayan karakterizasyon testleri ekleyin. Bu şekilde kullanıldığında kapsama alanı hedef olmaktan çıkar ve pratik bir planlama aracı haline gelir.

Aynı rapor, bir hata üretime kaçtığında da yardımcı olur. Hatanın yaşadığı satırı bulun ve herhangi bir testin çalıştırılıp çalıştırılmadığını kontrol edin. Değilse, kapatmaya değer bir boşluk buldunuz. Eğer bir test bunu çalıştırdıysa, sorun zayıf bir iddiadır; iddiasızlık örneğimizin gösterdiği durum da tam olarak budur. Her iki cevap da size paketi nasıl geliştireceğinizi anlatıyor.

Son sözler

Kod kapsamı bir el feneridir, bir derece değil. Özellikle hata işleme olmak üzere hiçbir testin dokunmadığı kodu bulmak için dal kapsamını kullanın ve ardından gerçek iddialarda bulunan testler yazın. Çalışmamızdan bir sonucu hatırlıyorsanız, şunu yapın: Hiçbir şeyi kontrol etmeyen bir testle %100 kapsama ulaşıldı.

Sık sorulan sorular

Öğrenmeye devam et