Sebuah tim dengan bangga melaporkan 95% cakupan kode, lalu mengirimkan bug di baris yang “dicakup”. Ini bukanlah suatu kontradiksi. Cakupan menjawab satu pertanyaan sempit: apakah pengujian mengeksekusi kode ini? Apakah mereka memeriksa hasilnya adalah pertanyaan yang sama sekali berbeda.

Kami menggunakan Python dengan coverage.py 7.17 dan pytest 9.2. Setiap nomor dan laporan di bawah ini berasal dari kami sendiri. Ide-idenya berlaku dalam bahasa apa pun.

Apa itu cakupan kode?

Cakupan kode adalah persentase kode Anda yang berjalan saat pengujian otomatis Anda berjalan. Sebuah alat mencatat baris mana, dan secara opsional cabang mana, yang dieksekusi, lalu melaporkan apa yang terlewat.

Hal ini paling berguna sebaliknya. Cakupan yang rendah di suatu area memberi tahu Anda, dengan pasti, bahwa tes tidak berhasil. Cakupan yang tinggi memberi tahu Anda lebih sedikit.

Jenis pertanggungan

Tiap level lebih ketat dibandingkan level di atasnya. Sebagian besar tim melacak cakupan jalur dan cabang. Cakupan kondisi dan MC/DC muncul dalam standar penerbangan dan otomotif, yang mengkhususkan dukungan perkakas.

Kode yang kami ukur

def shipping_fee(total, is_member, express=False):
    if total < 0:
        raise ValueError("total cannot be negative")
    fee = 0 if total >= 1000 else 50
    if is_member:
        fee = max(fee - 25, 0)
    if express:
        fee += 100
    return fee

File pengujian pertama kami memiliki dua pengujian:

def test_regular_order():
    assert shipping_fee(500, False) == 50

def test_member_express():
    assert shipping_fee(500, True, express=True) == 125

Kami menjalankannya dengan pengukuran cabang diaktifkan:

coverage run --branch -m pytest test_shipping.py
coverage report -m

Membaca laporan

Name          Stmts   Miss Branch BrPart  Cover   Missing
---------------------------------------------------------
shipping.py       9      1      6      1    87%   3

• Stmts 9, Miss 1: sembilan pernyataan yang dapat dieksekusi, satu tidak pernah dijalankan.
• Cabang 6, BrBagian 1: tiga if keputusan memberikan enam kemungkinan hasil. Satu keputusan hanya berjalan satu arah.
• Hilang 3: baris 3, raise ValueError, tidak pernah berjalan. Tidak ada tes yang lulus total negatif.

Perbaikannya adalah pengujian jalur kesalahan. Kami juga menambahkan tes untuk pesanan besar:

def test_free_over_1000():
    assert shipping_fee(1000, False) == 0

def test_negative_total():
    with pytest.raises(ValueError):
        shipping_fee(-1, False)

Dengan kedua file tersebut, laporan menunjukkan 100% dan tidak ada baris yang hilang atau sebagian cabang. Jalur kesalahan adalah penemuan cakupan kesenjangan yang klasik, itulah sebabnya pengujian untuk masukan yang tidak valid, dirancang dengan teknik seperti partisi ekivalensi, sangat cocok dipadukan dengannya.

Apa yang disembunyikan laporan itu

Lihat laporan pertama lagi. Dikatakan hanya baris 3 yang hilang. Namun pada dua pengujian pertama, keduanya menggunakan total 500 buah, sehingga aturan pengiriman gratis untuk pesanan 1000 buah atau lebih tidak pernah diuji, dan laporan tersebut tidak menandainya.

Alasannya adalah fee = 0 if total >= 1000 else 50 berada pada satu baris. coverage.py mengukur cabang antar baris, sehingga ekspresi kondisional di dalam satu baris dihitung sebagai satu pernyataan yang dieksekusi. Jika aturan tersebut memiliki bug, seperti > dan bukannya >=, rangkaian pertama akan tetap menampilkan 87% tanpa petunjuk. Pengujian terhadap batas itu sendiri, seperti yang dijelaskan dalam analisis nilai batas, adalah hal yang menarik perhatiannya.

Cakupan 100% tanpa pemeriksaan

Selanjutnya, kami menulis tes yang sengaja dibuat buruk yang memanggil setiap jalur tetapi tidak menyatakan apa pun:

def test_runs_everything_but_checks_nothing():
    shipping_fee(500, True, express=True)
    shipping_fee(1000, False)
    shipping_fee(500, False)
    try:
        shipping_fee(-1, False)
    except ValueError:
        pass

shipping.py       9      0      6      0   100%

Mencapai cakupan jalur dan cabang 100%. Fungsi tersebut dapat mengembalikan angka apa pun dan pengujian ini akan tetap lulus. Inilah batasan inti dari cakupan: ini mengukur pelaksanaan, bukan verifikasi.

Untuk mengukur apakah pengujian benar-benar menangkap bug, gunakan pengujian mutasi. Alat seperti mutmut untuk Python, PIT untuk Java, atau Stryker untuk JavaScript membuat perubahan kecil pada kode Anda, seperti membalik >= ke >, dan memeriksa apakah pengujian gagal. Uji tanpa penegasan kami akan membuat setiap mutasi dapat bertahan.

Target apa yang harus ditetapkan

Tidak ada angka yang benar secara universal. Panduan praktis:

• Jangan mengejar 100%. Beberapa persen terakhir sering kali berarti menguji kode sepele atau menulis tes yang hanya menyentuh garis.
• Banyak tim menargetkan sekitar 70 hingga 85% secara keseluruhan, dengan ekspektasi yang lebih tinggi untuk logika bisnis inti.
• Perhatikan trennya, bukan angkanya. Liputan yang menurun pada setiap rilis adalah tanda peringatan.
• Memerlukan cakupan kode baru dalam permintaan penarikan daripada memaksakan kode lama sekaligus.
• Kecualikan hal-hal yang tidak penting, seperti kode yang dihasilkan, dengan aturan yang jelas.

Hukum Goodhart berlaku: ketika suatu ukuran menjadi target, maka ukuran tersebut tidak lagi menjadi ukuran yang baik. Target yang sulit mendorong pengujian seperti contoh tanpa pernyataan kami.

Alat menurut bahasa

Cakupan di CI

Jalankan cakupan sebagai bagian dari pipa CI Anda, dan publikasikan laporan sehingga peninjau dapat melihat baris baru mana yang belum diuji. Dengan coverage.py, coverage report --fail-under=80 menggagalkan pembangunan di bawah ambang batas. Pertahankan ambang batas apa pun tetap sederhana dan gabungkan dengan aturan pada kode baru, sehingga satu file lama yang besar tidak memblokir setiap perubahan.

Di luar cakupan: pertanyaan yang lebih baik untuk ditanyakan

• Apakah pengujian mencakup bagian kode yang berisiko dan sering diubah?
• Apakah batasan dan jalur kesalahan diuji, bukan hanya jalur bahagia?
• Apakah pengujian akan gagal jika baris ini salah?
• Apakah pengujian cukup cepat dan stabil untuk dijalankan pada setiap perubahan?

Ini termasuk dalam strategi pengujian. Cakupan hanya membantu menjawab pertanyaan pertama.

Tidak termasuk kode dan membaca laporan HTML

Beberapa kode tidak layak untuk diuji secara langsung, seperti pembantu debug atau blok yang hanya berjalan ketika skrip dimulai dengan tangan. coverage.py memungkinkan Anda mengecualikan baris dengan komentar:

if __name__ == "__main__":  # pragma: no cover
    main()

Anda juga dapat mengatur pengecualian dan folder sumber yang akan diukur dalam konfigurasi, misalnya di pyproject.toml:

[tool.coverage.run]
branch = true
source = ["shop"]

[tool.coverage.report]
show_missing = true
exclude_also = ["if TYPE_CHECKING:"]

Gunakan pengecualian dengan hemat dan tinjau pengecualian tersebut seperti kode. Masing-masing adalah keputusan bahwa beberapa baris tidak akan pernah diperiksa. Mengecualikan penangan kesalahan yang sulit diuji hanya untuk menaikkan angka akan menggagalkan tujuan.

Untuk pekerjaan sehari-hari, laporan HTML lebih berguna daripada tabel terminal. Jalankan coverage html dan buka htmlcov/index.html. Setiap file ditampilkan dengan baris yang dieksekusi berwarna hijau, baris yang terlewat berwarna merah, dan sebagian cabang berwarna kuning, sehingga Anda dapat melihat sekilas mana if yang tidak pernah mengambil jalur lainnya. Banyak editor juga dapat menampilkan cakupan di margin, sehingga membuat celah terlihat saat Anda menulis kode, bukan setelahnya.

Cakupan sebelum refactoring

Cakupan juga merupakan pemeriksaan keamanan sebelum melakukan refactoring. Jika Anda berencana merestrukturisasi modul, lihat laporannya terlebih dahulu. Area merah tidak memiliki pengujian untuk memperingatkan Anda jika perilaku berubah, jadi tambahkan pengujian karakterisasi yang menangkap perilaku saat ini sebelum Anda memulai. Jika digunakan dengan cara ini, cakupan tidak lagi menjadi target dan hanya menjadi alat perencanaan yang praktis.

Laporan yang sama membantu ketika bug lolos ke produksi. Temukan baris tempat bug itu berada dan periksa apakah ada tes yang menjalankannya. Jika tidak, Anda telah menemukan celah yang layak untuk ditutup. Jika pengujian berhasil menjalankannya, masalahnya adalah pernyataan yang lemah, persis dengan situasi yang ditunjukkan oleh contoh tanpa pernyataan kami. Kedua jawaban tersebut memberi tahu Anda cara meningkatkan suite.

Penutup

Cakupan kode adalah senter, bukan nilai. Gunakan cakupan cabang untuk menemukan kode yang tidak disentuh oleh pengujian, terutama penanganan kesalahan, lalu tulis pengujian yang membuat pernyataan nyata. Jika Anda ingat satu hasil dari pengujian kami, jadikanlah sebagai berikut: cakupan 100% dicapai oleh pengujian yang tidak menghasilkan apa pun.

Pertanyaan yang sering diajukan

Teruslah belajar