Если вы начинаете проект автоматизации тестирования, то быстро возникнет вопрос Selenium против Playwright. Результаты поиска могут показаться решенным вопросом, но правильный ответ зависит от вашей команды, существующих тестов и браузеров, которые вы должны поддерживать.

В этом руководстве они сравниваются с тем, что вы действительно почувствуете в повседневной работе. Примеры кода демонстрируют типичный стиль каждого инструмента, и мы не запускали их для этой статьи. Мы также избегаем указания процентных показателей скорости, поскольку опубликованные тесты сильно различаются и часто исходят от поставщиков. Измерьте на своем собственном приложении, если скорость решит вопрос.

Короткий ответ

Выбирайте Драматург для большинства новых проектов веб-тестирования, особенно если ваша команда может работать с JavaScript, TypeScript, Python, Java или .NET. Вы получаете больше функций «из коробки» и меньше времени уходит на инфраструктуру и нестабильное ожидание.

Выберите Selenium, если у вас уже есть большой работающий пакет, если вам нужен язык, который Playwright официально не поддерживает, например Ruby, или если вам необходимо протестировать реальные сборки браузера и платформы, доступные через сетку Selenium или облако устройств.

Селен против Драматурга бок о бок

Архитектура: как каждый из них общается с браузером

Selenium отправляет команды, используя протокол W3C WebDriver, формальный стандарт. Ваш код взаимодействует с драйвером, например ChromeDriver, который управляет браузером, причем каждая команда обычно представляет собой отдельный HTTP-запрос. Поскольку производители браузеров поддерживают этот стандарт, он имеет широкую совместимость. Новый протокол WebDriver BiDi добавляет в стандарт двустороннюю связь и потоковую передачу событий.

Playwright поддерживает постоянное соединение с браузером и использует собственные исправленные сборки Chromium, Firefox и WebKit. Поскольку соединение является прямым и двусторонним, оно может реагировать на события браузера, и каждый тест может выполняться в собственном облегченном контексте браузера. Вот почему большинство сравнений оценивают Playwright как более быстрый, хотя фактический разрыв зависит от вашего приложения и ваших тестов.

Один тест в обоих инструментах

Вот тот же тест входа в систему, написанный на Python, на общедоступном сайте практики.

Селен

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def test_login(driver):
    driver.get("https://the-internet.herokuapp.com/login")
    driver.find_element(By.ID, "username").send_keys("tomsmith")
    driver.find_element(By.ID, "password").send_keys("SuperSecretPassword!")
    driver.find_element(By.CSS_SELECTOR, "button[type=submit]").click()

    message = WebDriverWait(driver, 10).until(
        EC.visibility_of_element_located((By.ID, "flash"))
    )
    assert "You logged into a secure area" in message.text

Вам также понадобится приспособление для создания и закрытия драйвера, как мы показываем в нашем руководстве по Selenium Python.

Драматург

from playwright.sync_api import Page, expect

def test_login(page: Page):
    page.goto("https://the-internet.herokuapp.com/login")
    page.get_by_label("Username").fill("tomsmith")
    page.get_by_label("Password").fill("SuperSecretPassword!")
    page.get_by_role("button", name="Login").click()

    expect(page.locator("#flash")).to_contain_text("You logged into a secure area")

Это зависит от плагина pytest-playwright, который предоставляет приспособление page. Он короче, главным образом потому, что ожидание встроено в expect и потому что локаторы типа get_by_role описывают страницу так, как ее видит пользователь. С помощью Selenium вы можете значительно сократить этот шаблонный шаблон с помощью помощников и Объектной модели страницы, которую мы рекомендуем в любом инструменте.

Ожидание и нестабильные тесты

Выбор времени является основной причиной ненадежных браузерных тестов, и именно здесь эти два инструмента больше всего различаются в повседневном использовании.

В Selenium вы отвечаете за синхронизацию. Явное ожидание работает хорошо, но кто-то должен помнить о нем повсюду, и команды, которые забывают, часто прибегают к time.sleep. Наше руководство по ожиданию Selenium объясняет, как это сделать правильно.

В Драматурге действия перед действием автоматически проверяют, что элемент видим, стабилен, включен и способен получать события. Утверждения Web-first продолжают повторять попытки до истечения времени ожидания. Вы по-прежнему можете писать нестабильные тесты, например, с плохими тестовыми данными, но основной источник проблем устраняется по умолчанию.

Браузеры и языки

Именно здесь у Selenium есть настоящее преимущество. Сборка Playwright WebKit близка к движку Safari, но это не то же самое, что Safari на Mac или iPhone. Если реальное поведение Safari имеет решающее значение, Selenium с SafariDriver или настоящее облако устройств помогут вам приблизиться к тому, что на самом деле используют ваши пользователи.

Аналогичным образом Playwright тестирует встроенные версии браузера, хотя он также может управлять установленными каналами Chrome и Edge. Selenium управляет установленными вами браузерами, что помогает, если вам необходимо поддерживать определенные версии. Для нативных мобильных приложений это тоже не полный ответ: Appium, построенный на концепции WebDriver, является обычным инструментом.

Что касается языков, Selenium официально поддерживает Ruby и имеет очень долгую историю в командах Java. Версия Node.js от Playwright также имеет наиболее полный набор инструментов, поскольку там имеется полноценный инструмент для запуска тестов. Другие языки получают базовую библиотеку и интегрируются со своими собственными средами тестирования.

Отладка

Здесь драматург имеет явное преимущество. Его просмотр трассировки записывает каждое действие, а также снимки DOM, сетевые вызовы и журналы консоли, поэтому вы можете просмотреть неудачный запуск CI после его завершения. Его режим пользовательского интерфейса и codegen также помогают писать тесты быстрее. О том, как их использовать, читайте в нашем Уроке драматурга для начинающих.

С помощью Selenium вы собираете это самостоятельно, используя снимки экрана при сбое, журналы браузера, видео от вашего поставщика сетки и отчеты из вашей тестовой среды. Это работает хорошо, и многие команды имеют отличные настройки, но для их создания требуются усилия.

Возможности сети и API

Драматург может перехватывать и имитировать сетевые запросы с помощью нескольких строк кода, что полезно для проверки состояний ошибок:

page.route("**/api/orders", lambda route: route.fulfill(status=500))

Он также включает клиент запросов API, поэтому вы можете создавать тестовые данные через API, прежде чем запускать браузер. В Selenium 4 добавлены некоторые сетевые функции через протокол Chrome DevTools и BiDi, но поддержка и удобство зависят от браузера и языка. Многие пользователи Selenium добавляют прокси или отдельную библиотеку HTTP, как в инструментах тестирования API.

Параллельные запуски и масштабирование

Бегунок Playwright обрабатывает параллельные рабочие процессы и сегментирует машины CI с помощью простых опций. Контексты браузера дешевы, поэтому для изоляции не требуется новый браузер для каждого теста.

Selenium использует Selenium Grid для распределения тестов по компьютерам и версиям браузера, а фреймворки тестирования обеспечивают параллелизм. Grid – это больше для запуска, но его эффективность доказана в очень больших масштабах, и многие облака коммерческих устройств поддерживают его напрямую.

Стоит ли переходить с Selenium на Playwright?

Не автоматически. Рабочий пакет ценен, а его переписывание отнимает время у тестирования продукта. Сначала задайте эти вопросы:

1. Существует ли измеримая проблема? Ненадежные тесты или медленная отладка — веские причины. «Это новее» — нет.
2. Насколько велик пакет? Можно переместить сотню тестов. Десять тысяч — это крупный проект.
3. Являются ли объекты вашей страницы чистыми? Хорошие абстракции значительно удешевляют переход.
4. Используете ли вы специальные функции Selenium? Сначала проверьте потребности вашей сети и устройства.

Если вы двигаетесь, делайте это постепенно. Напишите новые тесты в Playwright, сначала перенесите самые нестабильные старые тесты и запускайте оба параллельно, пока старый пакет не станет достаточно маленьким, чтобы выйти из эксплуатации. Не переводите тесты построчно, так как это приведет к переносу снов и старых локаторов. Избегайте также ошибок, описанных в разделе ошибки автоматизации тестирования.

Как выбрать

Лучше всего, запустите короткий пилотный проект. Автоматизируйте три самых неловких пути в каждом инструменте с вашим собственным приложением, в вашей собственной CI, и сравните код, скорость и то, насколько легко вы можете отладить сбой. Одна неделя доказательств превосходит любую сравнительную статью, включая эту. Если Сайпресс также есть в вашем списке, прочтите Драматург против Сайпресса.

Итоги

Драматургу обычно легче начать, а Selenium остается надежным стандартом с широким охватом. Ни то, ни другое не спасет плохо спроектированный набор тестов. Выбирайте, исходя из ваших реальных ограничений, инвестируйте в стабильные локаторы и хорошие тестовые данные и сосредоточьте свой пакет на том, что наиболее важно для ваших пользователей.

Часто задаваемые вопросы

Продолжайте учиться