Создание, продвижение сайтов, Wordpress блогов. Онлайн бизнес. Д Голосов: 1 Адрес блога: http://web-ru.net Добавлен: 2012-01-23 23:46:30 блограйдером Petr

Дополнительные директивы Robots.txt – Crawl-Delay и Clean-param

2012-06-19 23:17:22 (читать в оригинале)

В одной из статей я уже описывал файл Robots.txt. В принципе, того описания достаточно, чтобы составить данный файл для любого сайта. Но всё же есть в нём ещё кое-что, о чём следует рассказать – это пара дополнительных директив: Crawl-Delay и Clean-param.Читать полностью: Дополнительные директивы Robots.txt – Crawl-Delay и Clean-param ©2012 Продвижение сайтов, Wordpress блогов. Онлайн бизнес [...]