Михаил Сисин Со-основатель облачного сервиса по сбору информации и парсингу сайтов Diggernaut. Работает в области сбора и анализа данных, а также разработки систем искусственного интеллекта и машинного обучения  более десяти лет.

Новое в Diggernaut: гео-таргетинг, авто-капча для Amazon и работа с изображениями

Новости разработки платформы Diggernaut

В январский апдейт сервиса вошли: гео-таргетинг для выбора списка прокси по городам и странам, внутреннее решение для капчи Amazon с высокой точностью распознавания и функционал для работы и экспорта изображений.

используем прокси с геотаргетингом

Теперь у наших пользователей, использующих платную подписку, появилась возможность использовать прокси из нашего пула с географической привязкой к стране или городу. Поскольку некоторые сайты используют IP клиента для геолокации и предложения разных услуг или цен в зависимости от местоположения клиента, данная функция будет весьма востребована в подобных случаях. Более подробную информацию об этом функционале можно найти на странице нашей документации: Базовые настройки: Настройка прокси серверов.

Решаем капчу от Амазон с 97% уровнем распознавания

Раньше для решения капчи на сайтах Amazon у нас в основном использовался OCR функционал на базе Tesseract. Так как символы в капче немного искажены и повернуты, простой OCR метод не давал хороших результатов при распознавании. Уровень распознавания находился в пределах 10-15%, что приводило к дополнительным запросам страниц на стороне клиента. На прошлой неделе мы имплементировали совершенно новый метод для решения капчи от Amazon, уровень распознавания которой находится в районе 97%. Алгоритм находится полностью на нашей стороне и не требует наличия аккаунтов в других службах по решению капчи. Все наши пользователи, запускающие парсеры в облаке могут использовать этот сервис абсолютно бесплатно. Более подробная информация доступна на странице нашей документации: Капча: Обходим капчу.

Работайте с изображениями и сохраняйте их в облако

Теперь у ваших парсеров появилась возможность обрабатывать и сохранять изображения на ваш компьютер или в облачное хранилище. Для сохранения на локальный диск компьютера потребуется использовать скомпилированную версию парсера. В облачных хранилища можно сохранять файлы как из парсера, запущенного в облаке, так и из скомпилированной версии парсера. Кроме сохранения файлов, вы сможете также кадрировать и изменять размер изображений.. Хотите узнать как? Почитайте нашу документацию: Изображения.

Михаил Сисин Со-основатель облачного сервиса по сбору информации и парсингу сайтов Diggernaut. Работает в области сбора и анализа данных, а также разработки систем искусственного интеллекта и машинного обучения  более десяти лет.