Хабрахабр: Коллективные / Блоги / Захабренные Голосов: 10 Адрес блога: http://habrahabr.ru/blog/ Добавлен: 2007-10-24 18:05:40 блограйдером Robin_Bad

Linux для всех / [Из песочницы] Парсер RSS на bash для Лостфильма: щадящий режим для RSS сервера, проверка скачанного

2011-09-02 13:50:09 (читать в оригинале)

Доброго времени суток!
Когда-то, благодаря этому топику, был написан неплохой парсер для Лостфильма. Сейчас я хотел бы поделиться собственной доработкой скрипта, связанной с изменением формата ссылок на Лостфильме, добавлением проверки на обновление ленты и проверки скачанного.

Прежде всего, что-бы снизить нагрузку на RSS сервер, при запросе ленты с помощью wget нужно использовать «If-Modified-Since:». Тогда, при отсутствии обновлений, мы не будем качать и обрабатывать всю ленту. Такой подход снизит нагрузку на сервер (и немного на наш компьютер).
Используем следующий вариант комманды:

# Подготовка заголовка If-Modified-Since
IFS="\n"
lastmod=( $( grep Last-Modified response.out ) )
unset IFS
echo "" > response.out
header="If-Modified-Since:"${lastmod#*:}