FDE Grabber

Уважаемые пользователи системы импорта новостей, а также потенциальные клиенты.

Рады сообщить, что подходит к концу работа над новой системой лицензирования FDE Grabber, которая вступает в силу с версии FDE Grabber 4.0

Поэтому, в ближайшее время вы сможете приобрести/обновиться до версии FDE Grabber 4.0

Новая система лицензирования, в отличие от старой,  предусматривает проверку лицензий через наш сервер, а также ограничение на запуск системы импорта новостей с 10 IP адресов в рамках одной лицензии. Список вы сможете отредактировать в личном кабинете на нашем сайте ; Ограничений на запуск по доменам по прежнему не будет

Мы выпустили новую версию граббера FDE Grabber 3.5

Среди новых функций:

- разграничение прав и свобод пользователей в админке граббера. Возможность назначать пользователям группу. Возможность создавать новые группы, с указанием прав доступа
- возможность устанавливать лимит публикуемых статей за день
- возможность автоматического клонирования категорий и источников
- возможность автоматического определения категории, к которой относится данная статья на основе обработанных стеммером ключевых слов

Стемминг — это процесс нахождения основы слова для заданного исходного слова. Основа слова необязательно будет совпадать с морфологическим корнем слова. Процесс стеминга применяется в поисковых системах для обобщения поискового запроса пользователя.
Конкретные реализации стемминга называются алгоритм стемминга или просто стеммер.

- возможность распознавания русских дат
- возможность указания нескольких шаблонов для парсинга через тег логического ИЛИ: {or}
- возможность автоматического переименования получаемых картинок путём транслитерации заголовка статьи для получения псевдо SEF (ЧПУ) адресов
- возможность настройки расположения вотермарка: левый верхний угол/правый верхний угол/левый нижний угол/ правый нижний угол/по центру/случайно из перечисленных вариантов
- возможность указания случайной флуктуации дат публикации статей

Также добавлен новый хак для перемешивания предложений. И отличная фича: расширение текстовых полей ввода типа textarea с помощью JavaScript с последующим запоминанием размера

Что такое хак, применительно к грабберу?

Хак, это микропрограмма, вызываемая для обработки получаемого содержимого (контента).

Из-за того, что полученный контент часто приходится каким-либо образом обрабатывать, например выравнивать картинки по правому или левому краю или по центру. Или, к примеру, удалять все ссылки на третьи сайты, оставляя просто текст или заключать в тег <noindex>, добавляя атрибут rel=nofollow

Таких простых задач, может набраться довольно много. Поэтому, мы добавили в систему импорта новостей возможность указывать хаки для обработки контента, и  даже создавать свои (потребуются знания языка PHP)

(читать далее…)

Наверняка вам приходилось бывать на новостных порталах, где все изображения имеют маленький, причём одинаковый размер. Неужели авторы новостей сидят в фотошопе или в гимпе и занимаются операцией подгонки под один размер (кроппинг, crop image)?

Нет, всё гораздо проще. Это делают обычные скрипты или программы в автоматическом режиме при публикации.

В нашем случае это будет делать система импорта новостей FDE Grabber, если это ей сказать в настройках.

(читать далее…)

В данной статье речь пойдёт про автоматизацию импорта новостей на *nix-овых платформах, то есть, про запуск кроновских скриптов граббера, с помощью планировщика задач cron

В граббере имеется 3 этапа импорта статей:

1. кроновский скрипт путь_к_грабберу/crontab_feeds.php определяет один из доступных источников получения статей (RSS/Atom/HTML источник) и обновляет его.
   Если, при этом, имеются новые статьи (уникальность статьи определяется по названию), то статьи будут добавлены в качестве задания для получения
   По мере запуска данного кроновского скрипта, источники обновляются по кругу
   Каждому запуску скрипта соответствует одно обновление одного из доступных источников
2. кроновский скрипт путь_к_грабберу/crontab_articles.php смотрит на задания для получения статей и получает статью.
   Одному запуску данного скрипта соответствует одно получение статьи
3. кроновский скрипт путь_к_грабберу/fde_grabber_3/crontab_publicate.php публикует полученные статьи в вашу CMS

(читать далее…)

В данной статье речь пойдёт не о приборе с одноимённым названием, а о совершенно ином значении.

Пейджер, от английского слова page означает нумерацию страниц в виде ссылок:

назад  1  2  3  …  100  вперёд

Поняли о чём идёт речь?

Да,  именно о разбиении на страницы большого списка новостей.

Очевидно, что каждая страница пейджера является HTML источником для граббера.

И адреса данных страниц выглядят примерно так:

http://fdstar.com/page/1/

http://fdstar.com/page/2/

http://fdstar.com/page/3/

…

http://fdstar.com/page/100/

Опять шаблон :

http://fdstar.com/page/{page}/

(читать далее…)

Ранее мы с вами рассмотрели импорт новостей с RSS/Atom источников. Пришло время познакомиться с граббингом с HTML источников.

Но перед этим нам нужно понять, что такое HTML источник.

Для граббера источник – это просто обновляющийся список новостей, в котором можно выявить следующие данные по каждой статье:

1. адрес конечной статьи
2. название
3. краткое описание
4. возможно, некоторые другие дополнительные данные

Очевидно, что HTML источник – это тот же RSS или Atom фид, только с нестандартным шаблоном парсинга. Поэтому, при использовании HTML источника нам требуется указывать шаблон для него.

HTML шаблон для HTML источника выявляется совершенно аналогично описанному способу выявления шаблона для категории, за тем лишь исключением, что теперь у нас имеется больше переменных:

{date} – дата; {name} – название; {link} – адрес к полному описанию статьи; {description} – краткое описание; {category} – категория публикации; {null} – ненужный контент;

Добавление HTML источника совершенно аналогично добавлению RSS/Atom источника, только теперь требуется указать ещё и шаблон для парсинга.

Проверить правильность указания шаблона для парсинга HTML источника можно в разделе “Тест HTML источника”

Как можно импортировать контент с RSS или Atom источников? Каков прицип работы?

В двух словах имеем вот что:

имеется постоянно обновляющийся список новостей (feed, фид) в котором, обычно есть следующая информация по каждой статье (обычно в фиде представлены 10-20 последних статей):

1. адрес статьи
2. название статьи
3. краткое описание
4. дата

этого нам достаточно, чтобы добавить задание для граббинга с подобного RSS/Atom источника.

Но перед этим, нам потребуется настроить категорию для граббера. В категории источников указываются настройки, согласно которым будет обрабатываться получаемый контент (содержимое).

(читать далее…)

Интересное название статьи, не правда ли?

На самом деле тема достаточно актуальна. Если Вы используете выделенный сервер (Dedicated Server) или виртуальный выделенный сервер (VDS – Virtual Dedicated Server или VPS – Virtual Private Server), то Вы можете его настроить как угодно под себя, и проблем с запуском граббера быть не может.

А что делать, если Вы пока не готовы использовать выделенный или виртуальный сервер, но желаете полноценно работать с граббером?

- для этого просто нужно подобрать подходящий виртуальный хостинг.

Мы подготовили небольшой список хостингов, поддерживающих систему импорта новостей FDE Grabber:

http://agava.ru/

http://peterhost.ru/

http://masterhost.ru/

данный список будет, со временем пополняться

Ручное добавление задания

В данном разделе вы можете вручную добавить задания для получения (импорта) определённой статьи

Ручной CRON

В данном разделе вы можете запускать кроновские скрипты граббера вручную. Работа системы импорта новостей происходит в три этапа:

1. кроновский скрипт путь_к_грабберу/crontab_feeds.php определяет один из доступных источников получения статей (RSS/Atom/HTML источник) и обновляет его.
   Если, при этом, имеются новые статьи (уникальность статьи определяется по названию), то статьи будут добавлены в качестве задания для получения
   По мере запуска данного кроновского скрипта, источники обновляются по кругу
   Каждому запуску скрипта соответствует одно обновление одного из доступных источников
2. кроновский скрипт путь_к_грабберу/crontab_articles.php смотрит на задания для получения статей и получает статью.
   Одному запуску данного скрипта соответствует одно получение статьи
3. кроновский скрипт путь_к_грабберу/crontab_publicate.php публикует полученные статьи в вашу CMS

Администраторы

В данном разделе вы можете добавлять/изменять/удалять администраторов системы получения статей. Также, здесь можно скорректировать логин и/или пароль выбранного пользователя-администратора

Фейковые пользователи

В данном разделе вы можете добавлять/изменять/удалять фейковых (мнимых) пользователей.
Фейковые пользователи могут использоваться для случайного проставления авторства публикуемых статей, а также случайного проставления авторства публикуемых фейковых комментариев.

Фейковые комментарии

В данном разделе вы можете добавлять/изменять/удалять фейковые комментарии, которые могут случайно добавляться при публикации полученных статей от имени одного из фейковых пользователей.

Утилиты

В данном разделе вы можете воспользоваться одной из утилит:

1. удалить временные файлы старше дня – если по какой-то причине в директории граббера для временных файлов остались временные файлы, то их можно удалить
2. удалить файлы старше дня – если по какой-то причине в директории граббера для полученных файлов остались файлы, то их можно удалить
3. удалить неполученные статьи – если по какой-то причине статьи не были получены граббером, то соответствующие данные о них в базе можно удалить
4. удалить опубликованные статьи старше XXX даты – так, например, можно очистить уже неактуальные данные о полученных статьях (для того, чтобы не было дубляжа получения статей, информация о статьях должна храниться определённое время)
5. удалить удалённые статьи – если статьи не подошли по указаным параметрам, то они будут помечены как “удаленные”, при этом информация о них всё-равно остаётся в базе. Данная утилита очищает базу от подобных статей
6. приостановить/возодновить работу CRON скриптов – для приостановки/возобновления работы кроновских скриптов

Экспорт/импорт настроек

В данном разделе можно осуществить экспорт/импорт настроек граббера.

Справка

В данном разделе представлена справочная информация системы импорта статей

Информация о системе

В данном разделе вы можете просмотреть конфигурацию PHP

Совместимость системы

В данном разделе вы можете узнать насколько совместима система импорта новостей с вашей платформой

Выход

Для выхода из админцентра системы импорта новостей и для удаления сессии, можно использовать данную ссылку