| Сегодня 9 июня, воскресенье |
      |
  
|
  
Какой рейтинг вас больше интересует?
|
Главная / Каталог блогов / Cтраница блогера Блог для блогов - создание блога на blogspot / Запись в блоге
Файл robots.txt для блога2013-11-16 04:26:00 (читать в оригинале)Robots.txt для блога BlogspotЗдравствуте дорогие мои читатели и все, кто заскочил на огонек. Сегодня у нас важный урок, будем разбираться, что же это за файл такой robots.txt, который настоятельно советуют создать для улучшения индексирования нашего ресурса. Прочитав массу информации, я хочу поделиться с Вами своими соображениями в создании этого файла. Начну с того, что файл robots.txt необходимо создать, если на Вашем сайте или блоге присутствует содержание, индексирование которого Вы хотите запретить. Но если Вы хотите, чтобы всё содержание блога попало в индекс поисковых систем, создание такого файла вовсе не требуется. На блогах Blogspot уже автоматически создан такой файл и выглядит он вот так: User-agent: Mediapartners-Google -разрешается реклама Google к примеру AdSense Disallow: User-agent: * - звездочка, разрешение индексировать всем роботам Disallow: /search - разрешено индексировать всем Allow: / поисковым роботам Sitemap: http://horizon-s.blogspot.com/feeds/posts/default?orderby=UPDATED Посмотреть файл robots.txt Вашего блога можно в инструментах для вебмастеров-сканирование-заблокированные URL. Но многие владельцы сайтов хотят запретить, к примеру, индексировать архив., чтобы не было дублированного контента. В таком случае файл robots.txt будет выглядеть так: Этот файл я создала сама, хоть и архив у меня пока удален. User-agent: * Disallow: /search Disallow: /*archive Allow: / User-agent: Yandex Disallow: /search Disallow: /*archive Allow: / User-agent: Mail.Ru Disallow: /search Disallow: /*archive Allow: / Sitemap:http://www.bdblogov.ru/atom.xml?redirect=false&start-index=1&max-results=500 Можно создать для всех роботов сразу User-agent: * Disallow: /search Disallow: /*archive Allow: / Что интересно, Яндекс скушал этот файл, а в другом блоге horizon-s.blogspot.com не принял. Причина, как я полагаю в домене, этот блог на персональном домене ru. В строке Disallow перечисляются страницы, которые необходимо заблокировать. В примере у меня заблокирован архив. Можно указать адрес URL страницы. Ввод должен начинаться с косой черты / . Чтобы заблокировать весь сайт - Disallow:/ Чтобы заблокировать архив или определенную страницу - Disallow:/archive/ Disallow:/ URL страницы Чтобы удалить из индекса все изображения User-agent: Googlebot-image Disallow:/ Чтобы заблокировать одну из картинок User-agent: Googlebot-image Disallow:/kartinki/ url адрес на картинку Чтобы использовать файл robots, необходимо иметь доступ к корневому каталогу блога. Для блогов blogspot такого доступа мы не имеем, но есть возможность добавить файл в настройки-настройки поиска-пользовательский файл robots.txt, смотрите на скриншоте  Нажмите-изменить-использовать собственный файл robots.txt-нажать-да. В поле вставьте созданный Вами файл, нажмите-сохранить. Так же разрешить или запретить индексацию определенных страниц, видео, изображений можно, если воспользоваться мета тэгом robots и вставить его в тело шаблона, дизайн-изменить шаблон, в разделе <head></head> Примеры мета тэгов: Чтобы запретить индексирование всего содержания блога, есть же люди, которые ведут блог только для себя, применяют такой мета тэг <meta name="robots"content="noindex"/>-это для всех роботов <meta name="googlebot"content="noindex"/>-это для робота Google-Googlebot Для всех без исключения роботов мета тэг выглядит так <meta name="robots"content="index,follow"/>-разрешается индексировать страницы и ссылки; <meta name="robots" content="nofollow"/>-не разрешается индексировать ссылки; . Здесь следует учесть, что если Вы внесли какие-либо изменения, файл robots должен быть обновлен. Даже после того, как робот обнаружит изменения, сканирование и индексирование-это сложный и длительный процесс, и может занять определенное время. Подробнее читайте на сайте Google. создание файла robots.txt вручную. Теперь поговорим о роботе Яндекса. В Яндексе несколько видов роботов, которые выполняют разные функции. Есть робот, индексирующий только rss ленту, робот, индексирующий только картинки. Самый важный, основной робот,функция которого-поиск и индексирование информации-для формирования базы основного поиска. В помощь основному, есть быстрый робот-предназначен для оперативного индексирования свежей информации. Поэтому, если среди приндексированных страниц в Яндексе увидите похожие, это может означать только одно-страница проиндексирована и основным и быстрым роботом. Читайте о роботах Яндекса на этом сайте. Вернемся к мета тэгам. Для Яндекса также можно прописать мета тэги., только используя тэг nofollow Смотрите примеры <meta name="robots"content="all"/>-разрешить индексировать текст и ссылки на странице - аналогично <meta name="robots"content="index,follow"/> <meta name="robots" content="nofollow"/>-не переходить по ссылкам на странице Для запрета индексирования какого-то определенного участка текста можно использовать тэг <noindex>.Работает как мета тэг noindex, но распространяется только на контент. <noindex>запрещенный для индексирования текст</noindex> Этот тэг может находится в любом месте html кода страницы. Об использовании Мета тэгов для Яндекса переходим на этот сайт. В этих приведенных примерах файла robots.txt, Вы можете разрешить или запретить индексирование для опреденных роботов. Вместо robots вписываете yandex-робот Яндекса, googlebot-робот Google, mail.ru-робот Mail.ru и другие. На этом моя информация заканчивается. Надеюсь будет Вам полезна. Всего доброго.
|
 
Категория «Блогосфера»
Взлеты Топ 5
Падения Топ 5
Популярные за сутки
|
Загрузка...
BlogRider.ru не имеет отношения к публикуемым в записях блогов материалам. Все записи
взяты из открытых общедоступных источников и являются собственностью их авторов.
взяты из открытых общедоступных источников и являются собственностью их авторов.