На главную Инструменты Панель оптимизатора Новости Реклама у нас Обратная связь

Google pr	26.11.2014

Яндекс ТиЦ	25.06.2019
поиск	28.06.2019
каталог	16.01.2018

Новости сайта Новости интернета

08.05.2023 в 15:13 Situs Slot Online Gacor Gampang Maxwin

08.05.2023 в 15:10 Daftar Link Slot Gacor Gampang Menang

11.04.2023 в 13:17 Daftar Situs Judi Slot Gacor Online Terpercaya

22.10.2022 в 17:32 Geber88 : Situs Raja Slot Gacor Terkemuka di Indonesia

25.05.2022 в 07:10 Сайт эскорта

Генератор файлов robots.txt

Войти или зарегистрироваться

Забыли пароль?

Главная Инструменты Генератор файлов robots.txt

Данный инструмент поможет Вам сгенерировать файл robots.txt для Вашего сайта.

Адрес сайта (без http://, только домен)

User-agent:
Строка User-agent определяет робота поисковой машины. (значение * - дает определение всех роботов)

Disallow:
Определяет каталог\страницу, закрытую от индексации поисковым роботом. (при указании каталога - запрещается для индексации все содержимое каталога - пример Disallow: /images - запрещает для индексации полностью каталог /images). В каждой группе строки User-agent должна быть хоть одна конструкция Disallow. Директиву Allow: понимает только Яндекс - пример: Allow: /data. Все пути к каталогам или файлам пишутся от корня сайта.

Host:
Директива Host: указывает на зеркало вашего сайта. Адрес сайта должен быть указан без протокола - пример: www.site.ru - верно, http://www.site.ru - не верно.

SiteMap:
Директива Sitemap: указывает на расположение файла карты вашего сайта. Директива указывает на отдельный XML или gz файл или на индексный SiteMap файл. Файл SiteMap может быть в форматах как в .XML, так и в .GZ (архивная копия файла SiteMap).

Вставить комментарий | Вставить пустую строку

Результат, содержимое файла robots.txt [выделить]

Поддержка

E-mail: Задать вопрос

Главное меню

Апдейты

Новости

Генератор файлов robots.txt