Как запретить индексацию страниц?

Если вы не хотите, чтобы поисковые машины индексировали некоторые ваши страницы, вы можете использовать для этого специальный файл — robots.txt.

Этот файл следует размещать в корневом каталоге вашего сервера — /http.

Примеры содержания файла robots.txt:

Данные строки запрещают всем роботам инексировать все документы, размещенные на вашем сервере:

User-Agent: *
Disallow: /

Данные строки запрещают всем роботам индексировать все документы, размещенные в директории /test:

User-Agent: *
Disallow: /test/

Данные строки запрещают всем роботам индексировать файл secret_place.html в директории /test:

User-Agent: *
Disallow: /test/secret_place.html