Файл robots.txt для сайта

Файл robots.txt для сайта

2018.08.14    74

В сео продвижении сайта основной целью является попадание веб ресурса в ТОП поисковой выдачи на определенный запрос. Поисковые роботы собирают всю информацию о сайте и отправляют данные на анализ в основной сервер.

Файл robots.txt для сайта

На каждом сайте существуют:

  • Страницы, которые необходимо закрыть от индексации
  • Зеркала страниц – нужно указать правильное зеркало
  • Временные характеристики – когда поисковик может осуществлять скачивание интернет страниц.
Для решения таких задач создается текстовый файл robots.txt для сайта. Robots.txt – файл в текстовом формате, в котором прописывается вся информация, связанная с индексацией интернет страниц, для роботов поисковых систем. Данный стандарт был принят в начале 1994 года и используется Яндексом, Google и другими поисковиками. Посетив сайт, робот, в первую очередь, ищет данный файл и карту сайта sitemap.

Что прописывают в файле роботс txt?

  • Обращение к определенному боту – в командной строке прописывается имя поискового робота, для которого написана инструкция, например, для Яндекса: User-agent: YandexBot
  • Разрешение/запрет индексации страниц веб ресурса – например, у нас есть на сайте административная панель, индексировать которую нет необходимости. Для закрытия страницы прописываем Disallow: /adminka/, а для открытия – Allow
  • Карта сайта – направляем робота на страницу (файл), в которой указаны адреса всех страниц сайта в созданной иерархии
  • Главное зеркало – с помощью директивы Host, которая прописывается единожды в самом конце файла роботс тхт.

Как создать файл роботс тхт?

При создании инструкции необходимо знать страницы, которые будут скрыты от индексации поисковыми системами. Важное правило – это порядок запрещающих и разрешающих команд. Например, мы хотим запретить индексацию определенных страниц, УРЛ которых начинается на /seo, но изображения на этих адресах открыть для индексации. Сначала запрещаем индексировать корневой каталог, а потом разрешаем индексацию отдельных элементов:

User-agent: Yandex
Disallow: /seo
Allow: /seo/image1

Команды поисковые роботы получают блоками, т.е. если была команда для Яндекс робота на запрет индексации страниц с УРЛ /seo, а для Гугла нужно разрешить индексацию этих же страниц, то разделяем пустой строкой блоки команд:

User-agent: Yandex
Disallow: /seo

User-agent: Googlebot
Allow: /seo

Правила составления файла роботс txt

  • Команды начинаются с новой строки – на одной строчке не больше одной директивы, блоки команд разделяются пустой строкой
  • В начале строки ни каких отступов и пробелов
  • Структура команды – название: значение
  • Значение директивы не обрамляйте в «»
  • В конце команды не ставится «;»
  • Если после команды Disallow: отсутствует значение, то это равносильно разрешению индексации всех страниц
  • После команд разрешения/запрета указывается одно значение
  • Если значение является директорией, то после команды и «:» ставим знак /
  • Файл роботс с размером больше 32 кб автоматически разрешает индексацию всего сайта
  • Пустой файл robots.txt распознается как разрешение индексации всех интернет страниц.

Главное правило – текстовый файл должен быть минимальным по размеру и количеству строк, не нужно вписывать в него каждую страницу. Меньше файл – меньше рисков сделать ошибку и ввести в заблуждение поискового робота.

Осуществить проверку правильности составленного файла можно с помощью Яндекса или Google – сразу после заливки в корневую папку сайта.

Наличие файла роботс – один из основных факторов ранжирования сайта. Успех сео продвижения сайта напрямую зависит от прописанных команд и директив в документе. Доверить свой сайт стоит профессионалам с большим опытом успешных проектов. Студия веб дизайна «ArtStudioDesign» занимается созданием и продвижением сайтов больше 12 лет. Звоните и мы научим ваш сайт приносить стабильный доход.


поделиться:




Вы можете заказать сайт для своей компании
прямо сейчас!

Остались вопросы?
напишите нам:

Имя
Телефон
E-mail
Спасибо Ваша заявка отправлена на обработку. В ближайшее время мы свяжемся с Вами