Мета-язык

Главной задачей сервиса Diggernaut является преобразование разрозненного веб-контента в упорядоченные массивы данных. В дальнейшем такие массивы легко обрабатывать, анализировать и трансформировать в любые представления. Мы используем роботов, которые называются диггерами, для парсинга и сбора информации с различных ресурсов. Однако, для того чтобы они выполнили свою работу, их нужно правильно запрограммировать. Для этого вы должны создать сценарий исполнения (конфигурацию) диггера, и сделать это возможно несколькими способами.

Мета-язык является одним из доступных инструментов для решения этой задачи. Он очень мощный и гибкий, чтобы справляться с самыми тяжелыми задачами, и в то же время очень простой для освоения и использования, поскольку содержит только такие директивы, которые реально используются для парсинга. Он не требует установки никаких интерпретаторов или IDE на ваш компьютер, вы можете писать ваш код в удобном редакторе на сайте, при этом, мы не ограничиваем вас в выборе редактора, вы можете писать код где угодно, например в Visual Studio Code, Brackets или в Sublime Text.

Мы написали эту инструкцию для тех, кто хочет освоить наш мета-язык и использовать всю мощь сервиса Diggernaut для решения реально сложных задач и парсинга технически сложных сайтов. Вы можете не быть экспертом в программировании и даже можете не знать ни одного языка программирования, все это не нужно для освоения мета-языка. Однако, мы ожидаем от вас базовых знаний HTML и CSS для определения откуда вы хотите забрать данные и построить CSS/JQuery путь до этих данных, чтобы парсер смог найти их. Также вы должны знать как работает язык разметки YAML, потому что конфигурации диггеров пишутся именно в этом формате.

Если вы решитесь продолжить чтение этого документа и научитесь программировать на нашем мета-языке, смеем вас заверить, что вы сможете решить задачу любой сложности вместе с Diggernaut и отпарсить практически любой сайт-донор.