Парсинг дома? Не вопрос!

Вы хотите парсить какие-то данные с вебсайта, но совершенно не готовы размещать парсер в облаке и платить за каждый запуск, запросы и трафик? Тогда, возможно, вам больше подошла бы опция где вы скачиваете программу, запускаете ее у себя на компьютере или сервере и получаете данные в нужном вам формате. Это легко реализуется с помощью новой

Read More →

Что делать когда сервер возвращает JSON? Отпарсить его!

Diggernaut.com позволяет легко и просто, работать с форматом JSON конвертируя его в XML. И сейчас я вам это продемонстрирую. Для примера я нашел один из публичных JSON RestAPI. Ссылка. Вот пример ответа сервера.

Для начала создадим парсер (он же диггер), переведем его в дебаг режим, и установим имя браузера как Firefox.

Добавим блок

Read More →

Парсим iCal. Забрать данные с iCal? Нет ничего проще.

Сегодня мы будем писать скрипт для парсинга различных ресурсов, использующих для передачи данных о событиях файлы в формате iCal. Формат этот был придуман компанией Apple и в настоящее время на многих сайтах вы можете экспортировать события из календаря сайта в этом формате. В этом случае вам не нужно будет скрапить сам сайт и его HTML,

Read More →

Мне надо отпарсить сайт и собрать данные, нужно ли мне знать #язык_программирования?

Нет, не нужно. Давайте рассмотрим это более подробно. Для того, чтобы отпарсить сайт и собрать данные необходимо как минимум знать основы HTML разметки и желательно иметь базовые знания Javascript. Так что если вы всерьёз хотите что-то скрапить, вам стоит начать с изучения этих двух технологий. Тем не менее многие ответят на этот вопрос следующим образом:

Read More →

Парсинг, как инструмент для участников рынка недвижимости

В современном мире информация играет одну из ключевых ролей. Как сказал Натан Ротшильд, “Кто владеет информацией, тот владеет миром”, и это действительно так. Тот, кто быстрее и качественнее соберет данные, тот раньше получит аналитику и сможет ее использовать в бизнесе. Не секрет, что участники рынка недвижимости постоянно используют аналитику для разных вопросов, возникающих в процессе

Read More →

Парсинг в независимой журналистике

В современном информационном пространстве процесс сбора, обработки и анализа данных может занимать значительное время. С каждым годом информации становится больше, а значит и времени на ее сбор требуется все больше и больше. И если раньше журналисту приходилось вручную искать и собрать информацию из различных источников, затем ее обрабатывать, приводить к упорядоченному виду, анализировать и использовать

Read More →

Учимся делать парсеры сайтов с приложением Excavator

На нашем Youtube канале опубликованы видео уроки по работе с приложением Excavator на русском языке. Хотите научиться писать парсеры для любых сайтов, включая различные каталоги и магазины без изучения языков программирования? Тогда обязательно посмотрите наши видео уроки.

Мы вышли в бету

Сервис официально вышел в отрытую бету, регистрация открыта. Парсить сайты теперь стало не просто, а очень просто.