smaller reset larger         

Меню

Стандарт GMT +3 (DST) :: Время 10:06 pm.

Категория

Дата статьи
Ссылка на статью
3912-WFHJ-3423
Написано
Fess
Дата создания
Fri, 26th Oct 2007
 
(забыл)

   robots.txt, или как запретить индексацию страниц

Вопрос 

Как запретить индексацию страниц?

Ответ 

Если вы не хотите, чтобы поисковые машины индексировали некоторые ваши страницы, вы можете использовать для этого специальный файл — robots.txt.

Этот файл следует размещать в корневом каталоге вашего сервера — /http.

Примеры содержания файла robots.txt:

Данные строки запрещают всем роботам инексировать все документы, размещенные на вашем сервере:

User-Agent: *
Disallow: /

Данные строки запрещают всем роботам индексировать все документы, размещенные в директории /test:

User-Agent: *
Disallow: /test/

Данные строки запрещают всем роботам индексировать файл secret_place.html в директории /test:

User-Agent: *
Disallow: /test/secret_place.html

Полезна ли эта статья ?      (Рейтинг: 100% Голосов: 2)  

Выбрать рейтинг

Комментарии 

Без комментариев.