Парсер (от английского слова parse – разбор, анализ) – в общем случае, программа или ее часть, выполняющая синтаксический анализ текста. Отвечая на вопрос: “Что такое парсер?” необходимо упомянуть, что этого термина может быть несколько значений. Наиболее часто используются:
Парсер сайтов.Парсер транслятора.
Парсер баз данных в текстовом формате.
Язык программирования “Парсер”.
Парсер сайтов
Парсер сайтов – программа, собирающая размещенную на сайтах необходимую информацию; выполняющая последовательный синтаксический анализ найденных данных, их преобразование и сохранение.
Где и зачем применяетсяПарсинг – очень востребованная услуга на специализированных форумах и биржах фрилансеров. Иногда заказчика интересует сама программа, способная собирать в интернете и систематизировать определенную информацию, иногда – сама информация в удобном виде. Обычно полученные таким образом данные используют при необходимости:
Наполнения контентом новых веб-сайтов. Каждый владелец ресурса сталкивается с непростой проблемой – чем его заполнить? В настоящее время конкуренция в интернете очень высока. Чтобы сайт попал в топы поисковых систем, а значит – стал популярным и легко доступным для большого числа пользователей, разнообразного контента на нем должно быть не просто много, а так много, что создать его самостоятельно и вручную выложить за разумное время – задача из области фантастики. Привлечение копирайтеров и рерайтеров – решение дорогостоящее и тоже требующее времени.
Текущего обновления данных, быстро теряющих актуальность. Исходная информация часто бывает расположена на разных сайтах, ее обновление может требоваться как ежедневно (для данных о погоде), так и ежеминутно или чаще (для биржевых сводок). В этом случае намного проще и дешевле вместо исполнителей, склонных уставать и ошибаться, загрузить работой специализированную программу.
Какие языки программирования подходят для написания таких парсеровДля написания парсеров используют, как правило, языки программирования с поддержкой регулярных выражений, предназначенных для формального описания искомого текста. Это могут быть серверные языки:
Perl,PHP,
Ruby.
Или обычные, для написания программ, выполняемых на клиентских компьютерах:
C,C#,
Delphi,
другие.
Из каких частей состоит парсер сайтов
Исходя из своего предназначения, программа должна состоять из трех частей, выполняющих следующие функции:
Поиск в интернете и скачивание в исходном виде кода страниц, содержащих требуемую информацию.Анализ полученного кода, извлечение и преобразование найденных данных. Обычно в этой части активно используют регулярные выражения.
Формирование конечного результата. На этом этапе извлеченные данные выводятся и сохраняются в нужном формате.
Сохранение может происходить как на домашнем компьютере, так и в серверной базе данных.
Парсер транслятора
Парсер транслятора – неотъемлемая часть любого транслятора (как интерпретатора, так и компилятора), выполняющая анализ программы, написанной на любом языке программирования, и преобразующая текст во внутреннее представление, необходимое для последующей работы. Без этого программистам пришлось бы писать свои программы непосредственно в машинных кодах в виде единичек и ноликов, понятных процессору компьютера.
Парсер баз данных в текстовом форматеСуществуют базы данных, информация в которых хранится в текстовом формате (XML, CSV и т. д.). Для извлечения таких данных нужен парсер, способный находить определенные поля и записи.
Язык программирования “Парсер”Разрабатываемый с 1997 Студией Лебедева язык для создания сайтов. Это простой (чуть сложнее в изучении HTML) язык, позволяющий создавать без больших усилий и временных затрат сложные динамические веб-сайты даже непрофессионалам.”
