Настройка файла robots.txt

Дорогие друзья!
Мы уже создали карту сайта для поисковых роботов с помощью плагина Sitemaps, но для облегчения и ускорения их работы необходима также настройка файла robots.txt.Настройка файла robots.txt
Этот файл будет указывать роботам на страницы, которые следует индексировать, или, наоборот, исключить от индексации.

Проверить наличие файла robots.txt можно, добавив его название в строку браузера после названия домена (через слеш): http://название Вашего домена/robots.txt.
Если Вам откроется запись в 4 строки, значит, файл robots.txt ещё не настроен.

Самый простой путь для настройки этого файла на свой сайт – скопировать его с какого-либо другого (раскрученного) сайта (воспользоваться тем же способом: http://название домена/robots.txt) и вставить в корневую папку своего сайта.
Например, файл robots.txt моего сайта выглядит следующим образом.Настройка файла robots.txt

Можете скопировать его, и занести в предварительно открытый на рабочем столе текстовый документ, название которому дайте robots (расширение .txt появится затем само!).
Будьте внимательны, именно здесь многие допускают ошибки!

Ещё один важный момент: в трёх нижних строчках (трижды) замените название моего сайта на название своего!
Теперь текстовый документ можно закрыть.

Переходим к загрузке файла robots.txt на свой хостинг.
В админпанели хостинга находим вкладку «Файловый менеджер» > «свой сайт» > папка «public.html», которую открываем, чтобы загрузить созданный нами на рабочем столе файл robots.txt.
Нажимаем кнопку «файл» > «закачать» > «выберите файл» > выбираем на рабочем столе «файл robots» и закачиваем.
После закачивания видим, что файл приобрёл название «robots.txt».

Теперь можно проверить как прошла настройка файла robots.txt на нашем сайте, набрав в браузере адрес http://название Вашего домена/robots.txt.
Поздравляю!
Поисковые роботы не пройдут мимо Вашего сайта!

Настройка файла robots.txt . Видео.

Понравилась статья? Нажмите, пожалуйста, на кнопочки! Оставившего первый комментарий ждёт сюрприз!

Опубликовать в Google Buzz
Опубликовать в Google Plus
Опубликовать в LiveJournal
Опубликовать в Мой Мир
Опубликовать в Одноклассники
Опубликовать в Яндекс
You can skip to the end and leave a response. Pinging is currently not allowed.

12 Responses to “Настройка файла robots.txt”

  1. Лилия:

    Здорово, как вы все доступно и понятно написали, спасибо. А то встречаю в других местах сложные варианты, и думала, что уж не разберусь с этим файлом.

    • admin:

      Спасибо. Стараюсь переводить с «русского (интернетного)» на «русский». В этом вижу свою миссию.

  2. Я этот файл настраевала по видео-урокам школы (где училась создавать сайт). Но если бы пришлось самой создавать, представляю, как бы я намучилась. А Вы так все подробно и доступно объяснили, это очень ценный материал для начинающих сайтостроителей! :good:

  3. Лилия:

    А что должно быть написано в этих 4 строчках, если этот файл не настроен, Ирина?

  4. Жаль, что не попалась эта статья раньше. Когда я устанавливала robots на сайт, то не захотела переходить на английскую раскладку и назвала файл «робот»)) Потом удивлялась, почему у меня не получается его установить. Как только назвала документ правильно, так все и получилось!

    • admin:

      Я всегда рада, если у людей что-то получается, благодаря моим статьям. Успехов Вам, Марина.

      • Татьяна:

        Прочитав комментарии, понимаю, что этот роботс очень не прост, но, всё же, люди постепенно и с ним справляются. То есть, не бывает ничего недоступного, при желании.

  5. Вопрос собственно касается файла робот.тхт — скажите пожалуйста, этот файл по каким-то стандартам должен лежать в корне сайта, или его можно переместить по своему усмотрению в любое другое место (ведь закрывая через него уязвимые участки сайта — мы даем хакерам прямые уязвимости по которым можно и ламать сайт)?

Leave a Reply

:bye: 
:good: 
:negative: 
:scratch: 
:wacko: 
:yahoo: 
B-) 
:heart: 
:rose: 
:-) 
:whistle: 
:yes: 
:cry: 
:mail: 
:-( 
:unsure: 
;-) 
 
↓