CyberSyn — универсальный парсер контента через RSS-каналы. К примеру, у вас есть доска агро-объявлений и вы хотите сделать раздел сельскохозяйственных новостей. Постить на свой сайт их можно в автоматическом режиме через rss-каналы, которые можно погуглить. Среди парсеров контента подавляющее большинство плагинов платные, либо бесплатно они только парсят заголовки, а сам контент новости и картинки за дополнительную плату. Если у вас сайт на WordPress — используйте плагин CyberSyn. Абсолютно бесплатный плагин, способный вытягивать полные тексты статей из RSS и Atom фидов в автоматическом режиме. Устанавливаем его из общей базы плагинов.
Основные настройки плагина CyberSyn
- RSS pull mode. Установка режима работы плагина. Если у вас нет доступа к crontab или вы не знаете как настроить его работу, тогда выбирайте режим auto и плагин будет запускаться каждые 10 минут. Сrontab — планировщик заданий в *nix-системах.
- Link to source. При включении опции заголовки постов будут ссылаться на источники.
- Full text extractor URL. Путь до скрипта, который парсит полный контент. Тут ничего не трогаем.
- Disable feed duplication control. Если включите данную опцию, то при парсинге будет осуществляться проверка на дублированный контент.
RSS/Atom Syndicator
В данном разделе мы будем добавлять RSS-потоки и редактировать уже добавленные. Чтобы добавить rss — введите адрес на него в поле и нажмите на кнопку «Syndicator».- Feed title. Название источника новостей, который будет отображаться на вашем сайте.
- Feed URL. Ссылка на RSS, который мы уже добавили.
- Syndicate this feed to the following categories. Здесь необходимо указать рубрику, в которую будут автоматически добавляться посты из фида.
- Extract full articles. Если включена данная опция, то скрипт будет пытаться вытянуть полный текст поста, а не только заголовок из RSS. Работает четко.
- Attribute all posts to the following user. От имени какого пользователя будет выкладываться данный контент.
- Undefined categories. Что делать с неопределенными категориями. Можно использовать категории по умолчанию из RSS, постить в рубрику WordPress по умолчанию, создать новую нужную категорию.
- Create tags from category names. Поставив галочку парсер будет автоматически создавать новые метки с названиями категорий, откуда парсится текст.
- Post tags (separate with commas). Необходимые теги для постов. Перечислите через запятую.
- Check for duplicate posts by. Поставьте проверку на дубли GUID and Title.
- Check this feed for updates every. Выставите время в минутах через которые будет запускаться агрегатор-rss.
- Maximum number of posts to be syndicated from each feed at once. Укажите максимальное количество постов, которые агрегатор будет получать за одно сканирование. К примеру, у вас стоит значение 1. И при новом сканировании было найдено 3 новых записи — будет спарсена только 1, последняя. Данная настройка задается для одного фида.
- Posts status. Здесь можно выбрать что делать с новыми записями. По умолчанию выставлено — сразу публиковать, но можно выбрать «hold for rewiews», то есть отправить на утверждение администратору.
- Comments. Разрешить или запретить комментарии к автоматическому контенту.
- Pings. Пинги упоминаемых блогов в посте. Оставьте отключенными.
- Base date. Какую дату ставить спарсенному посту. У вас два варианта или новую, когда он запись была добавлена на ваш сайт или оригинальную, с rss-источника.
- Media attachments. Можно выбрать установку изображений в посты: вверх поста или вниз. Но функция работает неважно. Изображения получаются все в квадратиках.
- Post thumbnail. Включить генерацию минитюр.
- Convert character encoding. Включить опцию, если у вас на сайте кодировка отличная от UTF-8.
- Store images locally. Насколько я понял, при включении данной функции, плагин пытается добавить изображение в медиафайлы WordPress. Но при включении данной опции у меня все гребет, виснет и парсер не работает.
- Post date adjustment range. Здесь можно задать случаное агрегирование новостей, задав отклонение в минутах от 0 до 60.
- Post footer. HTML-код, который будет вставлен вниз поста.
- Insert post footer into excerpts. Не совсем понял что это значит =) Если кто в курсе — дайте знать в комментариях.
- Shorten post excerpts. Тоже не совсем понял. Просят указать максимальное количество слов.
- Embed videos. Автоматическая вставка видеофайлов. Поддерживаются следующие форматы: YouTube, Vimeo, Flickr, IGN, DailyMotion, Ustream.tv.
- Translation. Переводчик для постов. Можно выбрать переводчик Яндекса или Гугла, но гугл платный а яндекс на момент написание статьи бесплатный.
А сейчас бочка дёгтя google не очень любит автоматическое наполнение статей поэтому они часто вылетают с индекса и не всегда помогает переводчик так как он уже может понять что эта такое.
И ещё лучше грабить блоги на блогспоте так как rss лента тут полная можете меня пограбить у меня все тексты уникальные)))
http://tops100sites.blogspot.com/feeds/posts/default
источник http://компьютерные-советы.рф
Комментариев нет:
Отправить комментарий