Yahoo Pipes. Парсинг сайтов, страниц, текстов
Собственно этот пост будет посвящен ознакомлению с сервисом Yahoo pipes. Сложно сказать почему такой сервис выложили в паблик, есть много мнений, его работа заключается в агрегировании любого контента в вебе. Теперь можно с легкостью проводить парсинг любых сайтов, страниц, текстов и заливать на свой проект, можно даже сделать текст уникальным с помощью модуля перевода, правда его будет не очень просто прочитать. В чем преимущество? Просто не нужно углубляться в знания php-программирования, чтобы написать парсер. Вообще это отличный инструмент для сплогера, человека, который занимается заработком с ГС.
Этот сервис – визуальное программирование. Имеется дружелюбный симпатичный интерфейс, где мы может использовать различные модули, к каждому из которых есть хелп, поэтому система достаточно гибкая, если хоть немного разбираетесь в программировании, то можно делать приличные вещи, которые будут относится к парсингу сайтов.
Одну такую сделанную программу называют пайпом (от слова pipe – труба). Далее небольшой пример построения пайпа, который парсит контент какого-то wp-блога через RSS-фид и переводит его с русского на английский (картинка кликабельна):
1. Модуль Fetch Site Feed, его можно взять слева на сайд-баре, меню Sources. Забирает фид выбранного сайта. Соответственно в поле URL нужно ввести этот сайт. Есть еще просто Fetch Feed, тогда в поле URL требуется ввести адресс самого фида, а не сайта. В нашем же случае фид обнаруживается автоматически.
2. Далее идет оператор Loop, в нем можно задать какую часть текста из фида обрабатывать и собственно что с ней делать. В моем случае для этого лупа в верхней строке выбрана опция item.title, это значит, что обрабатывать мы будем название поста. Получится там такая строчка For each [item.title] in input feed. Которая означает – “Для каждого титла из вводимого фида”. Теперь нужно определить что же делать с этим титлом. Все просто, в моем случае титл переводится с русского на английский. Поэтому в оператор Loop добавляем модуль Translate. Его можно просто перенести на пустое место в Loop и он закрепится. Находится Translate в выпадающем меню String слева на сайд-баре. В транслайте выбираем соответственно с какого на какой языки переводить. Далее в Loop по умолчанию горит кнопка assign results to [item.title]. Это означает, что мы присваиваем результат обработки параметру item.title, нашему титлу. Все верно, должны мы же мы на выходе что-то получать.
3. Провожу ту же самую операцию с лупом, только для item.description. Думаю пояснять как сменить item.title на item.description не нужно. Это означает, что все операции в лупе будут произведены уже для тела поста, а не титла.
4. Оператор Filter, берется там где и Loop в меню Operators. Из названия понятно, что он устанавливает фильтры для исходного текста. То есть, например мы можем забирать тексты только там где присутствует слово “автомобиль” или любое другое. Этот ход хорош для улучшения тематики нашего ГС. Я же делал по другому. Так как модуль Translate некоторые посты не переводит (такой вод небольшой баг), то мне нужно было отфильтровать посты с русскими буквами, чтобы на выходе их не получать. Это решается через регулярные выражения. Мой фильтр блокирует все вхождения русских букв в тексте поста.
5. Pipe Output. Собственно вывод всего нашего пайпа. Этот модуль там находится всегда по умолчанию.
Все достаточно просто, склеиваем все операторы трубами и нажимаем Run Pipe… сверху. Или справа вверху Properties -> Run pipe. Результат работы пайпа можете посмотреть здесь. Соответственно в Image содержаться только картинки с фида, а если переключиться на List, то увидите результат. Сверху есть кнопочка Get as RSS, с помощью которой это все преобразуется в новый фид. А оттуда уже забирайте как хотите. Если для Wordpress, то можно воспользоваться плагином Wp-o-matic.
Такая вот удобная технология. Если нашли для себя пользу в этом посте, предлагаю подписаться на мой rss-фид.
----------------------------------Понравилась статья? Подпишись на обновление блога через RSS или e-mail! 
