Поясните значение необязательных параметров HTTP запроса

Зашел на локальный сайт своего провайдера. Затем прописал в адресную строку следующее:

http://luga.lan/robots.txt

В ответ получил:

User-agent: Yandex Disallow: /engine Host: luga.net.ua

1 ответ

Вопрос как-то странно переименовали. Это файл robots.txt, лежащий в корне сайта, в нём содержится информация о том, что можно индексировать, а что нельзя + отдельные правила.

В данном случае:

  • Указание для робота Яндекса
  • Запрещать индексацию документов (страниц, файлов), лежащих в папке /engine и во всех папках, лежащих внутри неё. ( тут она означает любую последовательность символов, она подставляется автоматически)
  • На страницах с поиском отобразить сайт как luga.net.ua

Помощью по robots.txt на Яндекс.Вебмастере

licensed under cc by-sa 3.0 with attribution.