Про явление парсинга данных стоит знать всем, кто держит веб сайты или работает с ними. Парсинг (от английского to parse – структурировать, производить синтаксический анализ) — это сбор открытых нужных вам данных с определённого сайта с последующей их структуризацией. Сейчас в свободном доступе есть огромное количество решений, позволяющих проводить тончайшую настройку парсинга, начиная от формата собираемых документов, и заканчивая точкой мира, откуда парсер будет запрашивать эти самые данные.
Зачем нужен парсинг?
В основном парсинг используется для копирования деталей и наполнения сайта у конкурентов или наведения на собственном сайте порядка. Иногда парсинг используется для конкурентной разведки многими крупными компаниями (если рассматривать Россию, то компании МВидео, Ситилинк и Связной заявляли о конкурентном парсинге открыто, остальные компании не любят говорить об этом, но также занимаются этим делом).
Рассмотрим ситуацию. Вы – владелец крупного сайта продажи мебели, на котором ежедневно происходит не одна сотня покупок, а наполнение сайта идет бешеными темпами. Но со временем разбираться в структуре созданного вами сайта становится всё сложнее, а скорость его загрузки стремительно падает и оставляет желать лучшего. Тогда парсинг поможет вам выявить неиспользуемые файлы, более неактивные продажи, и дубликаты картинок или документов, мешающих вам и пользователям, заходящим на сайт.
Или давайте представим следующее. Вы только открыли сайт по продаже рыболовных снастей и вам надо заполнить больше тысячи карточек по продаже вашего товара, но время, которое на это может уйти слишком велико и вас не устраивает, но вы знаете другой сайт, продающий рыболовные снасти, который торгует точно такими же товарами, как и вы. Тогда вы парсите наполнение карточек товаров с сайта-конкурента, слегка меняя описание товаров, чтобы побыстрее продвинуть ваш магазин.
Следует отметить, что если вы во время парсинга найдете в открытом доступе личные данные владельца или пользователей сайта, следует их об этом сразу уведомить, иначе, если они узнают, что вы спарсили их данные без их ведома, вы можете попасть под статью уголовного кодекса Российской Федерации номер 273 – неправомерный доступ к компьютерной информации, и тогда вы надолго можете забыть о парсинге, как и свободном пользовании компьютера.
Как работает парсинг?
Немного окунемся в теорию. Программа-парсер отправляет с вашего ip-адреса очень много запросов на нужный вам сайт во все его директории. Это можно сравнить с ребенком, который бегает по подъезду и стучит во все двери. И как ребенка могут наругать, так и ваш ip-адрес могут забанить, т.е. заблокировать на спарсенном вами сайте. Это значит, что без использования средств виртуализации сети или подсети, зайти на этот сайт вам уже не получится. Поэтому при парсинге мы советуем пользоваться вам как минимум VPN-соединением, если сайт не ваш. Функционал парсера предельно важен, хороший парсер должен иметь:
Выбор типа файлов для парсингаСмену User-agent
Meta robots
Возможность построения древа сайта
Отделение дублей контента
Выбор прокси и ВПН
Выбор программы.
На данный момент в сети существует огромное множество парсеров. Одни из них распространяются бесплатно и имеют открытый исходный код, а значит их можно легко найти на сайте github, другие распространяются на платной основе и имеют закрытый исходный код, третьи вообще являются расширениями для браузеров. И даже если вас не устроит подобное разнообразие решений, вы всегда можете написать свое на популярных языках программирования, если вы их знаете. Вот несколько примеров.
Парсеры с открытым исходным кодом.
Сразу скажу, что для использования программ с открытым исходным кодом нужно обладать нужными знаниями, в том числе и знанием английского языка, зачастую процесс использования замороченный. Если вам надо спарсить данные с какого-то популярного ресурса, то на вышеупомянутом сайте гитхаб вы можете воспользоваться поиском, вбив в него “название сайта parser”. На каждый популярный сайт такая программа найдется. Если же вы хотите более универсальных решений, так как нужный вам сайт не популярен, то советую эти варианты:
Drupal – отличный модуль для парсинга html-страниц (гитхаб код)Parsedown – PHP парсер (гитхаб код)
Sitemap – парсер всех ссылок на сайте, используется для создания поиска на сайте (гитхаб код)
Парсеры с закрытым исходным кодом.
Такие парсеры в основном гораздо удобнее, так как направлены на простоту использования и принесения создателям прибыли, и, конечно, за них нужно платить.
Screaming Frog SEO Spider – британская программа парсер, считается многими лучшей в своем роде. Обладает всем нужным парсеру функционалом и даже больше. Стоит эта программа 150 фунтов стерлингов в год (почти 16000 рублей). Также имеет пробную версию на парсинг 500 ссылок и рядом ограничений.NetpeakSpider – хорошая программа для парсинга, отличная альтернатива предыдущей программе, версия с большинством удобств стоит 15 долларов в месяц, хотя бесплатная версия также присутствует.
Comparser – обычный парсер, однако в отличии от других имеет функцию проверки индексируемости сайта в поисковых системах.
Goodparser — парсер номеров телефонов и email адресов с досок объявлений и справочников
Парсеры, как расширения браузера.
Подобные парсеры обычно работают хуже, а функционал у них урезанный, но их преимущество в мобильности и простоте использования.
Scraper – расширение для браузеров Google Chrome, обладающее урезанным функционалом.Outwit hub – расширение для браузеров Mozilla Firefox, обладает обширным функционалом.
80legs – веб инструмент для работы с большими объемами данных. Зарекомендовал себя сотрудничеством с PayPal.
Собственный парсер.
Также можно создать свой парсер, но на это уйдет много времени, особенно, если вы не знаете ни одного современного языка программирования.
Если вы захотите написать свой парсер сайтов на python, то я советую вам воспользоваться модулем под названием BeautifulSoup, также нам понадобится вспомогательная библиотека Selenium, она нужна для перехода по сылкам и загрузки html версии сайта. Полная инструкция по созданию простейшего парсера на питоне есть здесь.
Парсинг контактных данных.
Зачастую применяется парсинг контактных данных с того или иного сайта, таких как электронная почта и номер мобильного телефона. Причины этого могут быть разные, например: оповещение посетителей своего сайта, рекламные рассылки или мошенничество. Последний вариант мы, конечно, рассматривать не будем.
Для парсинга адресов электронных почт и телефонов удобнее всего использовать программу под названием LetsExtractEmailStudio, она совмещает в себе огромный функционал и удобство использования именно для сбора контактных данных. Стоит эта программа 80 долларов, эта цена за так называемый полный комплект. Демоверсия также присутствует.
парсер, что такое парсерПосле того как мы скачали и запустили демоверсию, мы можем начать парсить данные с нашего сайта. Нажимаем кнопку “New Search” и выбираем в появившемся окне нужный сайт, в программе откроется браузер, который загрузит сайт, далее ищем нужную страницу сайта и нажимаем кнопку “Extract Members”, после этого вас могут попросить ввести данные аккаунта, потому что сейчас многие сайты, такие как фейсбук и вконтакте, ограничивают использование своих сервисов незарегистрированным пользователям. После введения данных вам перекинет на главынй экран приложения, где будут появляться электронные почты, и, возможно, прилагающиеся к ним другие контактные данные.
Если вы уже купили про версию, то вы также можете проверить электронную почту на валидность, то есть существует ли еще эта почта.
Кликаем на ту же кнопку “New Search”, выбираем пункт “Extract Email”, и выбираем файл с электронными почтами с вашего компьютера и нажимаем на пункт “Email Verify”, готово. Как видите, программа достаточно простая, но при этом функциональная.
Ограничения парсеров.
Однако какими бы парсеры не были мощными и функциональными, есть несколько методов противодействия им, которые могут использоваться владельцами сайтов.
Разграничение прав доступа. Владелец сайта может закрыть доступ к материалам сайта для всех, кроме администраторов этого сайта.Закрытие сайта для роботов. Большинство сайтов по умолчанию мимикрируют под поисковых роботов компаний Google или Yandex, которые проходятся по всем сайтам, чтобы добавить их в свою поисковую выдачу, однако владелец сайта вправе решать, давать этим роботам доступ или нет, и может закрыть его.
Блокировка по IP. Как мы уже писали выше, если парсить данные с сайтов в большом количестве, то ваш ip-адрес могут забанить, и вы уже не сможете зайти на сайт, если у человека, парсящего сайт, немного VPN, то его быстро заблокируют алгоритмы.
Капча. Капча это набор проверок, чтобы отличить человека от алгоритма, и не дать алгоритму доступ к сайту. Вы могли видеть капчу на разных сайтах в виде выбора определенных картинок, связанных общей темой. Правильно настроенная капча может остановить любой парсер.
Черные списки. В интернете лежит огромное количество баз данных ip-адресов, которыми пользуются парсеры, их можно внести в черный список, чтобы сайт не пропускал эти адреса.
DDOS-специализированные программы. Данные программы, предназначенные для защиты сайта от перегруза посредством фильтрации роботов, могут в некоторых случаях отсеивать и парсеры.
Законность действа.
Законом Россиийской Федерации не запрещен сбор данных из открытых источников, однако запрещается:
Выведение из строя сайта посредством парсинга данных, именуемое DDOS-атакой.Получение данных составляющих коммерческую или личную тайну.
Публикация спарсенных данных, если они закреплены авторскими правами на уровне закона.
Парсинг, как заработок.
На разных фриланс площадках ежедневно появляется огромное количество объявлений, косвенно связанных с парсингом данных с сайтов. Это объявления о перепечатке карточек товаров со старой версии сайта на другом домене на новую, или копирование дизайна у сайта-конкурента. Если правильно расставить задачу, то нужная программа все сделает за вас, и вы легко сможете получить деньги за выполнение заказа.
