Một nhóm tự hào báo cáo mức độ bao phủ mã là 95%, sau đó gửi lỗi trong một dòng đã được “che đậy”. Đây không phải là một mâu thuẫn. Phạm vi bảo hiểm trả lời một câu hỏi hẹp: các bài kiểm tra có thực thi mã này không? Liệu họ có kiểm tra kết quả hay không lại là một câu hỏi hoàn toàn khác.

Chúng tôi đã sử dụng Python với cover.py 7.17 và pytest 9.2. Mỗi con số và báo cáo dưới đây là từ hoạt động của chúng tôi. Những ý tưởng áp dụng trong bất kỳ ngôn ngữ.

Bảo hiểm mã là gì?

Phạm vi mã là tỷ lệ phần trăm mã của bạn chạy trong khi chạy thử nghiệm tự động. Một công cụ ghi lại dòng nào và tùy chọn nhánh nào đã được thực thi, sau đó báo cáo những gì bị bỏ sót.

Nó hữu ích nhất khi đảo ngược. Mức độ bao phủ thấp ở một khu vực sẽ cho bạn biết một cách chắc chắn rằng các cuộc kiểm tra không thực hiện được khu vực đó. Độ che phủ cao cho bạn biết ít hơn nhiều.

Các loại bảo hiểm

Mỗi cấp độ chặt chẽ hơn cấp độ trên nó. Hầu hết các đội đều theo dõi phạm vi phủ sóng của tuyến và nhánh. Phạm vi điều kiện và MC/DC xuất hiện trong các tiêu chuẩn hàng không và ô tô, nơi hỗ trợ dụng cụ chuyên dụng.

Mã chúng tôi đã đo

def shipping_fee(total, is_member, express=False):
    if total < 0:
        raise ValueError("total cannot be negative")
    fee = 0 if total >= 1000 else 50
    if is_member:
        fee = max(fee - 25, 0)
    if express:
        fee += 100
    return fee

Tệp thử nghiệm đầu tiên của chúng tôi có hai thử nghiệm:

def test_regular_order():
    assert shipping_fee(500, False) == 50

def test_member_express():
    assert shipping_fee(500, True, express=True) == 125

Chúng tôi đã chạy nó với tính năng đo nhánh được bật:

coverage run --branch -m pytest test_shipping.py
coverage report -m

Đọc báo cáo

Name          Stmts   Miss Branch BrPart  Cover   Missing
---------------------------------------------------------
shipping.py       9      1      6      1    87%   3

• Stmts 9, Miss 1: chín câu lệnh thực thi, một câu lệnh chưa bao giờ chạy.
• Nhánh 6, BrPhần 1: ba if quyết định đưa ra sáu kết quả có thể xảy ra. Một quyết định chỉ đi một chiều.
• Thiếu 3: dòng 3, raise ValueError, chưa bao giờ chạy. Không có bài kiểm tra nào vượt qua tổng số âm.

Bản sửa lỗi là một bản kiểm tra đường dẫn lỗi. Chúng tôi cũng đã thêm một thử nghiệm cho một đơn đặt hàng lớn:

def test_free_over_1000():
    assert shipping_fee(1000, False) == 0

def test_negative_total():
    with pytest.raises(ValueError):
        shipping_fee(-1, False)

Với cả hai tệp, báo cáo hiển thị 100% và không thiếu dòng hoặc nhánh một phần. Đường dẫn lỗi là cách phát hiện phạm vi khoảng trống cổ điển, đó là lý do tại sao việc kiểm tra đầu vào không hợp lệ, được thiết kế bằng các kỹ thuật như phân vùng tương đương, lại kết hợp rất tốt với nó.

Báo cáo che giấu điều gì

Hãy xem lại báo cáo đầu tiên. Nó báo chỉ thiếu dòng 3. Nhưng cả hai thử nghiệm đầu tiên đều sử dụng tổng cộng 500, vì vậy quy tắc giao hàng miễn phí cho các đơn hàng từ 1000 trở lên là chưa bao giờ được thử nghiệm và báo cáo không gắn cờ điều đó.

Lý do là fee = 0 if total >= 1000 else 50 nằm trên một dòng. vùng phủ sóng.py đo các nhánh giữa các dòng, do đó, một biểu thức điều kiện bên trong một dòng được tính là một câu lệnh được thực thi. Nếu quy tắc đó có lỗi, chẳng hạn như > thay vì >=, thì bộ đầu tiên vẫn hiển thị 87% mà không có gợi ý. Các thử nghiệm về chính ranh giới, như được mô tả trong phân tích giá trị biên, chính là điều giúp phát hiện ra điều đó.

Bảo hiểm 100% không cần kiểm tra

Tiếp theo, chúng tôi đã viết một bài kiểm tra kém cỏi có chủ ý gọi mọi đường dẫn nhưng không xác nhận gì:

def test_runs_everything_but_checks_nothing():
    shipping_fee(500, True, express=True)
    shipping_fee(1000, False)
    shipping_fee(500, False)
    try:
        shipping_fee(-1, False)
    except ValueError:
        pass

shipping.py       9      0      6      0   100%

Nó đã đạt 100% phạm vi phủ sóng của tuyến và nhánh. Hàm có thể trả về bất kỳ số nào và bài kiểm tra này vẫn vượt qua. Đây là giới hạn cốt lõi của phạm vi áp dụng: nó đo lường việc thực thi chứ không phải xác minh.

Để đo xem liệu các thử nghiệm có thực sự phát hiện được lỗi hay không, hãy sử dụng thử nghiệm đột biến. Một công cụ như mutmut cho Python, PIT cho Java hoặc Stryker cho JavaScript thực hiện những thay đổi nhỏ đối với mã của bạn, chẳng hạn như chuyển >= thành > và kiểm tra xem thử nghiệm có thất bại hay không. Thử nghiệm không xác nhận của chúng tôi sẽ cho phép mọi đột biến tồn tại.

Đặt mục tiêu gì

Không có con số chính xác phổ quát. Hướng dẫn thực hành:

• Đừng theo đuổi 100%. Một vài phần trăm cuối cùng thường có nghĩa là kiểm tra mã tầm thường hoặc viết các bài kiểm tra chỉ chạm vào dòng.
• Nhiều nhóm đặt mục tiêu đạt khoảng 70 đến 85% tổng thể, với kỳ vọng cao hơn về logic kinh doanh cốt lõi.
• Hãy xem xu hướng chứ không phải con số. Mức độ phù hợp giảm dần sau mỗi lần phát hành là một dấu hiệu cảnh báo.
• Yêu cầu bao gồm mã mới trong các yêu cầu kéo thay vì buộc tất cả mã cũ phải được đưa lên cùng một lúc.
• Loại trừ những gì không quan trọng, chẳng hạn như mã được tạo, bằng các quy tắc rõ ràng.

Áp dụng định luật Goodhart: khi một biện pháp trở thành mục tiêu thì biện pháp đó không còn là biện pháp tốt nữa. Mục tiêu cứng khuyến khích các bài kiểm tra như ví dụ không có khẳng định của chúng tôi.

Công cụ theo ngôn ngữ

Bảo hiểm trong CI

Chạy phạm vi đưa tin như một phần của quy trình CI của bạn và xuất bản báo cáo để người đánh giá có thể biết dòng mới nào chưa được kiểm tra. Với vùng phủ sóng.py, coverage report --fail-under=80 không xây dựng được dưới ngưỡng. Giữ bất kỳ ngưỡng nào ở mức khiêm tốn và kết hợp nó với quy tắc về mã mới, để một tệp kế thừa lớn duy nhất không chặn mọi thay đổi.

Ngoài phạm vi bảo hiểm: những câu hỏi hay hơn để hỏi

• Các thử nghiệm có bao gồm các phần mã có rủi ro, thường xuyên được thay đổi không?
• Các ranh giới và đường dẫn lỗi có được kiểm tra chứ không chỉ là đường dẫn hạnh phúc không?
• Thử nghiệm có thất bại nếu dòng này sai không?
• Các thử nghiệm có đủ nhanh và ổn định để chạy trên mọi thay đổi không?

Những điều này thuộc về bất kỳ chiến lược thử nghiệm nào. Bảo hiểm chỉ giúp trả lời câu hỏi đầu tiên.

Loại trừ mã và đọc báo cáo HTML

Một số mã không đáng để kiểm tra trực tiếp, chẳng hạn như trình trợ giúp gỡ lỗi hoặc một khối chỉ chạy khi tập lệnh được khởi động bằng tay. cover.py cho phép bạn loại trừ các dòng có nhận xét:

if __name__ == "__main__":  # pragma: no cover
    main()

Bạn cũng có thể đặt các loại trừ và thư mục nguồn để đo trong cấu hình, ví dụ như trong pyproject.toml:

[tool.coverage.run]
branch = true
source = ["shop"]

[tool.coverage.report]
show_missing = true
exclude_also = ["if TYPE_CHECKING:"]

Sử dụng các loại trừ một cách tiết kiệm và xem xét chúng như mã. Mỗi cái là một quyết định mà một số dòng sẽ không bao giờ được kiểm tra. Loại trừ một trình xử lý lỗi khó kiểm tra chỉ để nâng số đánh bại mục đích.

Đối với công việc hàng ngày, báo cáo HTML hữu ích hơn bảng đầu cuối. Chạy coverage html và mở htmlcov/index.html. Mỗi tệp được hiển thị với các dòng thực thi màu xanh lục, các dòng bị thiếu màu đỏ và các nhánh một phần màu vàng, vì vậy bạn có thể nhanh chóng thấy if không bao giờ đi theo đường dẫn khác. Nhiều người soạn thảo cũng có thể hiển thị mức độ phù hợp ở lề, điều này làm cho các khoảng trống hiển thị trong khi bạn viết mã thay vì sau đó.

Bảo hiểm trước khi tái cấu trúc

Bảo hiểm cũng là một kiểm tra an toàn trước khi tái cấu trúc. Nếu bạn dự định cơ cấu lại một mô-đun, trước tiên hãy xem báo cáo của mô-đun đó. Các vùng màu đỏ không có bài kiểm tra nào để cảnh báo bạn nếu hành vi thay đổi, vì vậy hãy thêm các bài kiểm tra mô tả đặc điểm để nắm bắt hành vi hiện tại trước khi bạn bắt đầu. Được sử dụng theo cách này, phạm vi bảo hiểm không còn là mục tiêu nữa mà trở thành một công cụ lập kế hoạch thực tế.

Báo cáo tương tự sẽ hữu ích khi một lỗi thoát ra môi trường sản xuất. Tìm dòng nơi lỗi tồn tại và kiểm tra xem có thử nghiệm nào chạy nó hay không. Nếu không, bạn đã tìm thấy một khoảng trống đáng để thu hẹp. Nếu một thử nghiệm đã chạy nó thì vấn đề là một xác nhận yếu, đó chính xác là tình huống mà ví dụ không có xác nhận của chúng tôi đã chỉ ra. Cả hai câu trả lời đều cho bạn biết cách cải thiện bộ phần mềm.

Lời kết

Phạm vi mã là đèn pin, không phải là điểm. Sử dụng phạm vi nhánh để tìm mã mà không cần kiểm tra, đặc biệt là xử lý lỗi và sau đó viết các bài kiểm tra đưa ra các xác nhận thực sự. Nếu bạn nhớ một kết quả từ lần chạy của chúng tôi, hãy ghi kết quả này: mức độ bao phủ 100% đạt được bằng một thử nghiệm không kiểm tra gì.

Câu hỏi thường gặp

Tiếp tục học hỏi