Serg-Casper.ru Голосов: 0 Адрес блога: http://www.serg-casper.ru Добавлен: 2015-06-06 23:13:52

Ошибки robots.txt

2015-04-28 00:27:38 (читать в оригинале)

 Ошибки, часто встречающиеся в файле robots.txt   Непосредственно ошибки robots.txt: Перепутанные инструкции Одна из самых распространённых ошибок в robots.txt – перепутаные между собой инструкции. Например: User-agent: /Disallow: Yandex Правильно писать вот так: User-agent: YandexDisallow: /  Указание нескольких каталогов в одной инструкции Disallow Многие владельцы сайтов пытаются поместить все запрещаемые к индексации каталоги в одну инструкцию […]