Дорогие друзья!
Мы уже создали карту сайта для поисковых роботов с помощью плагина Sitemaps, но для облегчения и ускорения их работы необходима также настройка файла robots.txt.
Этот файл будет указывать роботам на страницы, которые следует индексировать, или, наоборот, исключить от индексации.
Проверить наличие файла robots.txt можно, добавив его название в строку браузера после названия домена (через слеш): http://название Вашего домена/robots.txt.
Если Вам откроется запись в 4 строки, значит, файл robots.txt ещё не настроен.
Самый простой путь для настройки этого файла на свой сайт – скопировать его с какого-либо другого (раскрученного) сайта (воспользоваться тем же способом: http://название домена/robots.txt) и вставить в корневую папку своего сайта.
Например, файл robots.txt моего сайта выглядит следующим образом.
Можете скопировать его, и занести в предварительно открытый на рабочем столе текстовый документ, название которому дайте robots (расширение .txt появится затем само!).
Будьте внимательны, именно здесь многие допускают ошибки!
Ещё один важный момент: в трёх нижних строчках (трижды) замените название моего сайта на название своего!
Теперь текстовый документ можно закрыть.
Переходим к загрузке файла robots.txt на свой хостинг.
В админпанели хостинга находим вкладку «Файловый менеджер» > «свой сайт» > папка «public.html», которую открываем, чтобы загрузить созданный нами на рабочем столе файл robots.txt.
Нажимаем кнопку «файл» > «закачать» > «выберите файл» > выбираем на рабочем столе «файл robots» и закачиваем.
После закачивания видим, что файл приобрёл название «robots.txt».
Теперь можно проверить как прошла настройка файла robots.txt на нашем сайте, набрав в браузере адрес http://название Вашего домена/robots.txt.
Поздравляю!
Поисковые роботы не пройдут мимо Вашего сайта!
Настройка файла robots.txt . Видео.
Здорово, как вы все доступно и понятно написали, спасибо. А то встречаю в других местах сложные варианты, и думала, что уж не разберусь с этим файлом.
Спасибо. Стараюсь переводить с «русского (интернетного)» на «русский». В этом вижу свою миссию.
Я этот файл настраевала по видео-урокам школы (где училась создавать сайт). Но если бы пришлось самой создавать, представляю, как бы я намучилась. А Вы так все подробно и доступно объяснили, это очень ценный материал для начинающих сайтостроителей!
Рада, Оксана, если моё объяснение Вам помогло.
А что должно быть написано в этих 4 строчках, если этот файл не настроен, Ирина?
Имеете ввиду, Лилия, что бывает написано в файле, когда проходите по ссылке http://ВашеДоменноеИмя/robots.txt, когда файл ещё не настроен?
Об этом и написано.
Жаль, что не попалась эта статья раньше. Когда я устанавливала robots на сайт, то не захотела переходить на английскую раскладку и назвала файл «робот»)) Потом удивлялась, почему у меня не получается его установить. Как только назвала документ правильно, так все и получилось!
Я всегда рада, если у людей что-то получается, благодаря моим статьям. Успехов Вам, Марина.
Прочитав комментарии, понимаю, что этот роботс очень не прост, но, всё же, люди постепенно и с ним справляются. То есть, не бывает ничего недоступного, при желании.
Конечно, стоит немного подучиться, опыта поднабраться — и тогда всё получается.
Вопрос собственно касается файла робот.тхт — скажите пожалуйста, этот файл по каким-то стандартам должен лежать в корне сайта, или его можно переместить по своему усмотрению в любое другое место (ведь закрывая через него уязвимые участки сайта — мы даем хакерам прямые уязвимости по которым можно и ламать сайт)?
Это вопрос к хакерам.
А мы делаем просто по образцу.