Михаил Сисин Со-основатель облачного сервиса по сбору информации и парсингу сайтов Diggernaut. Работает в области сбора и анализа данных, а также разработки систем искусственного интеллекта и машинного обучения  более десяти лет.

Интеграция с Albato — экспорт данных в сотни других сервисов

Albato - один сервис для всех интеграций

В данной статье мы расскажем и покажем как настроить приложение Diggernaut в сервисе Albato. Этот сервис поможет вам перенести данные из ваших датасетов в различные CRM, облачные сервисы и хранилища. В текущей ревизии пользоваться приложением получится только у наших платных подписчиков и у пользователей на плане PAYG. К сожалению, у пользователей бесплатного плана пока такой возможности нет, поскольку в схеме доставки данных участвует наш сервис экспорта diggernaut.io. Если вы хотите протестировать связку, и вы используете бесплатный аккаунт, переведите ваш аккаунт на план PAYG и напишите нам в чат, мы начислим на ваш счет кредитов для тестирования.

Итак, для начала потребуется зарегистрироваться в сервисе Albato и войти в свой аккаунт там. После чего необходимо будет создать новое подключение, нажав на кнопку «Добавить подключение».

Albato - добавить подключение

Далее нужно найти и выбрать сервис Diggernaut.

После чего вам понадобится API ключ для вашего аккаунта в Diggernaut. Для этого войдите в свой аккаунт на сайте Diggernaut и пройдите в раздел Настройки -> Ключи API и скопируйте ваш API ключ в буфер обмена нажав CTRL+C или на соответсвующую кнопку на странице.

Diggernaut - забираем API ключ

Возвращаемся на сайт Albato, где даем название подключению. Также в поле Access Token надо вставить наш ключ API из буфера обмена нажав CTRL+V. После чего следует нажать на кнопку «Далее».

Albato - вводим настройки соединения

Теперь соединение создано и нам нужно нажать на кнопку «Понятно», чтобы закончить с настройкой подключения и перейти к настройке связки.

Albato - заканчиваем настройку подключения

Скопируйте в буфер обмена URL вебхука. Он нам понадобится для настройки экспорта в Diggernaut.io.

Albato - копируем вебхук

Теперь нам нужно будет настроить экспорт в сервисе Diggernaut.io. Войдите в свой аккаунт, используя API ключ аккаунта Diggernaut.

Diggernaut.io - входим в аккаунт

Создадим конфигурацию экспорта.

Diggernaut.io - добавим конфигурацию

Выберем тип конфигурации: Webhook export config. и нажмем на кнопку «Добавить».

Diggernaut.io - тип конфига

Теперь нам нужно прописать вебхук из нашего буфера обмена в поле Webhook URL. Для поля Request Content-type надо выбрать опцию application/json, а для поля Формат данных — опцию json. Также можно установить любое удобное имя для создаваемой конфигурации. Значения остальных полей оставляем без изменений и нажимаем кнопку «Сохранить».

Diggernaut.io - сохраняем конфигурацию

Переходим в раздел «Присоединить конфиг к диггерам». Выбираем диггер, датасеты которого мы планируем экспортировать, выбираем только что созданный нами конфиг и нажимаем кнопку «Присоединить конфиг».

Diggernaut.io - присоединяем конфиг к диггеру

Возвращаемся опять в Albato и создаем связку.

Albato - создаем связку

Нам необходимо выбрать сервис откуда мы будем забирать данные — Diggernaut, выбрать триггер «Датасет готов» и установить подключение, которое мы создали до этого.

Albato - выбираем сервис, триггер и соединение

На этом шаге нам надо настроить список получаемых полей, для этого мы используем ловец хуков. Чтобы его активировать нужно нажать на кнопку «Ожидать веб-хук».

Albato - активируем ловец хуков

После активации нам надо послать датасет с данными. Для этого вернемся в наш аккаунт Diggernaut и перейдем к диггеру, на который мы настроили экспорт. Если диггер не имеет сессий с данными, нам нужно просто запустить его, или, если вы уже запускали диггер и у диггера есть сессии с данными — можно перейти в сессии.

Diggernaut - находим диггер и запускаем его

И отправить датасет любой сессии в Diggernaut.io.

Diggernaut - экспортируем сессию

В зависимости от размера датасета, экспорт займет от нескольких секунд до нескольких минут. После чего на странице Albato мы должны будем увижеть пойманные ловцом поля. После чего мы можем продолжить настраивать связку.

Albato - ловец поймал поля

Теперь нам надо указать куда наши данные будут отправлены. Мы выбрали Google Sheets, но вы можете выбрать любой другой доступный сервис. Для этого мы выбираем сервис куда мы отправляем данные, метод — каким мы будем это делать (разные сервисы имеют разные методы), а также устанавливаем соединение с этим сервисом. У различных сервисов могут быть также дополнительнгые параметры подключения, которые нужно будет также настроить.

Albato - куда отправить данные

Теперь приступим к процессу маппинга полей датасета.

Albato - маппинг полей датасета

Привяжем все поля которые нас интересуют и нажмем кнопку «Далее».

Albato - маппинг завершен

При необходимости настраиваем механизм поиска дубликатов. В нашем случае, в столбце A у нас уникальный ID обявления, поэтому мы можем настроить поиск дубликатов по столбцу A.

Albato - настройка поиска дубликатов

На этом шаге мы можем выбрать какие поля мы будем обновлять в случае нахождения дубликата, а какие нет.

Albato - обновление полей

Настройка связки завершена, осталось ее только запустить.

Albato - запускаем связку

Теперь после каждого запуска диггера, по окончании его работы, Diggernaut будет отправлять датасет в Albato, а Albato позаботится о том, чтобы данные доехали до места назначения.

Михаил Сисин Со-основатель облачного сервиса по сбору информации и парсингу сайтов Diggernaut. Работает в области сбора и анализа данных, а также разработки систем искусственного интеллекта и машинного обучения  более десяти лет.

Добавить комментарий

Ваш адрес email не будет опубликован.

Этот сайт защищен reCAPTCHA и применяются Политика конфиденциальности и Условия обслуживания применять.