Слово ""парсинг"" пришло к нам из английского языка ""parsing"", что означает анализ, обработка или глагола ""parse"" - собирать, обрабатывать, анализировать, интерпретировать. Аналогично и с производным словом ""parser"" - анализатор, программа обработки информации. Слово ""граббер"" появилось также от английского слова ""grabber"" - устройство захвата, глагол ""grab"" означает ловить, отбирать, захватывать, забрать в свои руки. Итак, вообще говоря, парсер или граббер это скрипт или программа, позволяющая обрабатывать данные (текст, картинки или даже звук), анализировать их и вычленять требуемые сегменты информации.
1. Зачем нужен парсер или граббер? Для чего он используется?
Парсер может быть использован, например, для следующих целей (но не ограничивается ими):
Поддержание информации о товарах или услугах на сайте (интернет-магазин, рекламный веб-ресурс и др.) или в программах учета (например, 1С, Rent-IN и др.) в актуальном состоянии. Особенно это важно в тех областях, где информация быстро теряет актуальность. Один из ярких примеров это отображение курсов валют, погоды или точного времени в нескольких регионах на Вашем сайте. Очевидно, что для обновления такой информации вручную потребуется отдельный человек, который ежедневно или чаще будет искать требуемые данные и изменять информацию на Вашем сайте, а это значительно дороже и ввиду человеческого фактора подвержено неминуемым ошибкам.
Копирование или сбор общедоступной информации, каталога товаров или услуг с одного или нескольких сайтов. Данная операция может требоваться, как один раз (для случая товаров или услуг, название и количество которых практически не меняется со временем), так и постоянно (например, для обновления цен в соответствии с ценами конкурентов). Перед импортом полученных данных на свой сайт, особенно, если речь идет о комментариях и отзывах, информация редактируется и фильтруется для повышения уникальности собранных данных. Автоматический поиск товаров или услуг может быть также необходим для оперативного реагирование на появление нового объявления по интересующему критерию. Например, такие программы как парсер avito или olx.kz могут быть использованы агентствами по недвижимости, компаниями по покупке и продаже автомобилей.
Сбор, анализ и агрегирование данных из разных источников на одном веб-ресурсе или в одном настольном приложение. Такое объединение информации очень полезно, например, для сравнения актуальных цен в разных магазинах, а также для представления разных типов данных в удобном формате (стоимость авиа перелета, ж/д и автобусных маршрутов в интересующем направлении, курс соответствующей валюты, точное время в стране или городе назначения, цены на проживание в одном или нескольких отелях на текущий день и многое другое). Таким образом, парсеры могут быть эффективно использованы как в личных, так и в коммерческих целях.
2. Как работает парсер?
Парсер, как и любая другая программа, может быть написан на любом языке программирования (C#, F#. VB, JavaScript, PHP и др.). Всё зависит от требования к конечному решению - будет ли это независимое настольное приложение, которое можно самостоятельно запустить в любое удобное время и в случае необходимости, например, оставить сбор данных на несколько суток, или это будет некоторый модуль или скрипт для Вашего сайта, который будет подгружать небольшой объем информации при доступе к странице сайта, например, курс евро с сайтов двух-трех интересующих банков.
Как правило, парсинг осуществляется для какого то стороннего сайта для сбора конкретного блока информации (например, цены и характеристики горных велосипедов). Важно отметить, что каждый сайт имеет свою структуру (HTML или XML разметку). Для прозрачности объяснения можно провести аналогию со строением человеческого тела. Каждый человек уникален (даже если взять во внимание близняшек или так называемых двойников), не смотря на то, что формально у человека обычно две руки, две ноги и 10 пальцев на руках. Структура многих сайтов имеет схожие элементы: заголовок, тело или основной блок и нижний колонтитул (footer), но каждый из элементов может быть оформлен в уникальном формате, что не позволяет создать универсальный парсер для любого сайта. Существуют некоторые огромные проекты, посвященные этому направлению, но стоит отметить, что как и всё универсальное - такая супер-программа будет собирать не всегда корректные данные для конкретно Вашего случая.
Итак, в общем случае программа-парсер анализирует текст, HTML-разметку сайта, картинку или звук (в последних двух случаях речь, скорее всего, идет о более сложных программах распознавания образа (изображения) или компьютерного анализа цифрового звука), находит одинаковые или похожие участки текста или набора цифр, удовлетворяющие заданному критерию, объединяет собранные данные в новый формат, удобный пользователю и экспортирует результат в табличном или другом виде (в том числе, например, автоматически загружая данные на сервер или базу данных для добавления или обновления информации на сайте).
