Файл robots.txt для сайта
В SEO-продвижении сайта основной целью является попадание веб-ресурса в ТОП поисковой выдачи на определенный запрос. Поисковые роботы собирают всю информацию о сайте и отправляют данные на анализ в основной сервер.
На каждом сайте существуют:
- Страницы, которые необходимо закрыть от индексации
- Зеркала страниц – нужно указать правильное зеркало
- Временные характеристики – когда поисковик может осуществлять скачивание интернет-страниц.
Что прописывают в файле роботс txt?
- Обращение к определенному боту – в командной строке прописывается имя поискового робота, для которого написана инструкция, например, для Яндекса: User-agent: YandexBot
- Разрешение/запрет индексации страниц веб-ресурса – например, у нас есть на сайте административная панель, индексировать которую нет необходимости. Для закрытия страницы прописываем Disallow: /adminka/, а для открытия – Allow
- Карта сайта – направляем робота на страницу (файл), в которой указаны адреса всех страниц сайта в созданной иерархии
- Главное зеркало – с помощью директивы Host, которая прописывается единожды в самом конце файла роботс тхт.
Как создать файл роботс тхт?
При создании инструкции необходимо знать страницы, которые будут скрыты от индексации поисковыми системами. Важное правило – это порядок запрещающих и разрешающих команд. Например, мы хотим запретить индексацию определенных страниц, УРЛ которых начинается на /seo, но изображения на этих адресах открыть для индексации. Сначала запрещаем индексировать корневой каталог, а потом разрешаем индексацию отдельных элементов:
User-agent: Yandex
Disallow: /seo
Allow: /seo/image1
Команды поисковые роботы получают блоками, т.е. если была команда для Яндекс робота на запрет индексации страниц с УРЛ /seo, а для Гугла нужно разрешить индексацию этих же страниц, то разделяем пустой строкой блоки команд:
User-agent: Yandex
Disallow: /seo
User-agent: Googlebot
Allow: /seo
Правила составления файла роботс txt
- Команды начинаются с новой строки – на одной строчке не больше одной директивы, блоки команд разделяются пустой строкой
- В начале строки ни каких отступов и пробелов
- Структура команды – название: значение
- Значение директивы не обрамляйте в «»
- В конце команды не ставится «;»
- Если после команды Disallow: отсутствует значение, то это равносильно разрешению индексации всех страниц
- После команд разрешения/запрета указывается одно значение
- Если значение является директорией, то после команды и «:» ставим знак /
- Файл роботс с размером больше 32 кб автоматически разрешает индексацию всего сайта
- Пустой файл robots.txt распознается как разрешение индексации всех интернет страниц.
Главное правило – текстовый файл должен быть минимальным по размеру и количеству строк, не нужно вписывать в него каждую страницу. Меньше файл – меньше рисков сделать ошибку и ввести в заблуждение поискового робота.
Осуществить проверку правильности составленного файла можно с помощью Яндекса или Google – сразу после заливки в корневую папку сайта.
Наличие файла роботс – один из основных факторов ранжирования сайта. Успех SEO-продвижения сайта напрямую зависит от прописанных команд и директив в документе. Доверить свой сайт стоит профессионалам с большим опытом успешных проектов. Студия веб-дизайна «ArtStudioDesign» занимается созданием и продвижением сайтов больше 12 лет. Звоните, и мы научим ваш сайт приносить стабильный доход.