Файл robots.txt для сайта

В SEO-продвижении сайта основной целью является попадание веб-ресурса в ТОП поисковой выдачи на определенный запрос. Поисковые роботы собирают всю информацию о сайте и отправляют данные на анализ в основной сервер.

На каждом сайте существуют:

• Страницы, которые необходимо закрыть от индексации
• Зеркала страниц – нужно указать правильное зеркало
• Временные характеристики – когда поисковик может осуществлять скачивание интернет-страниц.

Для решения таких задач создается текстовый файл robots.txt для сайта. Robots.txt – файл в текстовом формате, в котором прописывается вся информация, связанная с индексацией интернет-страниц, для роботов поисковых систем. Данный стандарт был принят в начале 1994 года и используется Яндексом, Google и другими поисковиками. Посетив сайт, робот, в первую очередь, ищет данный файл и карту сайта sitemap.

Что прописывают в файле роботс txt?

• Обращение к определенному боту – в командной строке прописывается имя поискового робота, для которого написана инструкция, например, для Яндекса: User-agent: YandexBot
• Разрешение/запрет индексации страниц веб-ресурса – например, у нас есть на сайте административная панель, индексировать которую нет необходимости. Для закрытия страницы прописываем Disallow: /adminka/, а для открытия – Allow
• Карта сайта – направляем робота на страницу (файл), в которой указаны адреса всех страниц сайта в созданной иерархии
• Главное зеркало – с помощью директивы Host, которая прописывается единожды в самом конце файла роботс тхт.

Как создать файл роботс тхт?

При создании инструкции необходимо знать страницы, которые будут скрыты от индексации поисковыми системами. Важное правило – это порядок запрещающих и разрешающих команд. Например, мы хотим запретить индексацию определенных страниц, УРЛ которых начинается на /seo, но изображения на этих адресах открыть для индексации. Сначала запрещаем индексировать корневой каталог, а потом разрешаем индексацию отдельных элементов:

User-agent: Yandex
Disallow: /seo
Allow: /seo/image1

Команды поисковые роботы получают блоками, т.е. если была команда для Яндекс робота на запрет индексации страниц с УРЛ /seo, а для Гугла нужно разрешить индексацию этих же страниц, то разделяем пустой строкой блоки команд:

User-agent: Yandex
Disallow: /seo

User-agent: Googlebot
Allow: /seo

Правила составления файла роботс txt

• Команды начинаются с новой строки – на одной строчке не больше одной директивы, блоки команд разделяются пустой строкой
• В начале строки ни каких отступов и пробелов
• Структура команды – название: значение
• Значение директивы не обрамляйте в «»
• В конце команды не ставится «;»
• Если после команды Disallow: отсутствует значение, то это равносильно разрешению индексации всех страниц
• После команд разрешения/запрета указывается одно значение
• Если значение является директорией, то после команды и «:» ставим знак /
• Файл роботс с размером больше 32 кб автоматически разрешает индексацию всего сайта
• Пустой файл robots.txt распознается как разрешение индексации всех интернет страниц.

Главное правило – текстовый файл должен быть минимальным по размеру и количеству строк, не нужно вписывать в него каждую страницу. Меньше файл – меньше рисков сделать ошибку и ввести в заблуждение поискового робота.

Осуществить проверку правильности составленного файла можно с помощью Яндекса или Google – сразу после заливки в корневую папку сайта.

Наличие файла роботс – один из основных факторов ранжирования сайта. Успех SEO-продвижения сайта напрямую зависит от прописанных команд и директив в документе. Доверить свой сайт стоит профессионалам с большим опытом успешных проектов. Студия веб-дизайна «ArtStudioDesign» занимается созданием и продвижением сайтов больше 12 лет. Звоните, и мы научим ваш сайт приносить стабильный доход.