Базовые настройки

Включаем Selenium

Практически все задачи решаются без использования хедлесс браузера (Headless browser), и в большинстве случаев использование основной механики забора страниц диггером намного быстрее, дешевле по ресурсам и предпочтительней, поскольку дает больше контроля над процессом. Но бывают случаи, когда использование полноценного браузера с выполнением JavaScript и извлечение финального рендера страницы для обработки - это единственное решение.

Для подобных случаев вы можете использовать Selenium c Chrome Web Driver, однако примите во внимание, что стоимость одного запроса с использованием Selenium приравнивается к 5 стандартным запросам страниц. То есть забор одной страницы уменьшит ваши ресурсы сразу на 5 запросов. Для включения Selenium воспользуйтесь опцией js_enabled:

            # ВКЛЮЧАЕМ SELENIUM
- config:
    js_enabled: "yes"
            

Обратите внимание!
В настоящий момент поддерживается только рендер и забор контента страниц с помощью Selenium. Навигация по контенту осуществляется стандартными методами по DOM используя команду Find, а переходы по страницам осуществляются используя команду Walk - без имитации клика в Selenium.