Будьте осторожны, не изменяйте файл, если не владеете информацией. Некорректный файл возможно приведет к тому, что блог перестанет индексироваться поисковиками.
Изменив robots.txt для Блогспот, можно поставить запрет на сканирование страниц блога, поисковыми роботами. Сканирование - это процесс индексации контента страниц блога поисковыми роботами, для того что бы его смогли найти в поиске пользователи. Если в блоге Блогспот есть страницы, о которых вы не хотели бы распространятся (причины личного характера, не имеет отношения к блогу), то теперь можно поставить ограничение.
Но, если информация об страницах, в виде ссылки, уже есть на других сайтах, поисковые роботы перейдут по ней. И могут все равно проиндексировать ее. Чтобы такого не возникало, можно поставить полный запрет для URL, с помощью мета тегов.
Итак перейдите в Панель управления блогспот - Настройки - Настройки поиска - Поисковые роботы и индексация - Пользовательский файл robots.txt.
После добавления собственного Robots.txt нажмите "Сохранить изменения".
Стандартный файл выглядит так:
Мне она без надобности, у меня нет на блоге медийной рекламы Google Adsense. А так как блоги Блогспот были созданы для ее продвижения, такая строка присутствует на всех без исключения блогов. Но, в Адсенс у меня БАН, поэтому строку убрал.
Вот что у меня получилось:
Кто что думает, пишите в комментариях. Ваше мнение важно для меня.
Но, если информация об страницах, в виде ссылки, уже есть на других сайтах, поисковые роботы перейдут по ней. И могут все равно проиндексировать ее. Чтобы такого не возникало, можно поставить полный запрет для URL, с помощью мета тегов.
Как добавить robots.txt для Блогспот?
Итак перейдите в Панель управления блогспот - Настройки - Настройки поиска - Поисковые роботы и индексация - Пользовательский файл robots.txt.

Как проверить Robots.txt?
Что бы проверить какой у вас файл robots.txt, добавьте к url вашего блога /robots.txt.
После добавления собственного Robots.txt нажмите "Сохранить изменения".
Стандартный файл выглядит так:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.avitra.ru/feeds/posts/default?orderby=updated
Лично меня не устроила вот эта строка Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.avitra.ru/feeds/posts/default?orderby=updated
User-аgent: Mediapartners-Google
Disаllow:
Disаllow:
Мне она без надобности, у меня нет на блоге медийной рекламы Google Adsense. А так как блоги Блогспот были созданы для ее продвижения, такая строка присутствует на всех без исключения блогов. Но, в Адсенс у меня БАН, поэтому строку убрал.
Вот что у меня получилось:
User-agent: *
Disallow: /search/
Disallow: /search/label/
Disallow: /*archive.html
Allow: /
Sitemap: http://www.avitra.ru/feeds/posts/default?orderby=updated
User-agent: Yandex
Disallow: /search/
Disallow: /search/label/
Disallow: /*archive.html
Allow: /
Не знаю правильно или нет, но тавтология присутствует. Прописано в robots.txt два раза одно и то же. Для всех User-agеnt и для Яндекса, что в принципе не правильно. Хотя таким образом выделил бота Яндекс. Наверное ничего страшного в этом нет.Disallow: /search/
Disallow: /search/label/
Disallow: /*archive.html
Allow: /
Sitemap: http://www.avitra.ru/feeds/posts/default?orderby=updated
User-agent: Yandex
Disallow: /search/
Disallow: /search/label/
Disallow: /*archive.html
Allow: /
Кто что думает, пишите в комментариях. Ваше мнение важно для меня.
0 коммент.: