Немного о robots.txt

Как известно, предназначение текстового файла robots.txt является закрытие (с помощью директив) от индексации роботами поисковых систем отдельных страниц, каталогов, файлов или сайта в целом. Думаю, что многие оптимизаторы и вебмастеры знают об этом. Однако, стоит помнить, что если вы хотите закрыть, например, страницу сайта от индексации роботами поисковых систем, то директив, которые указываются в robots.txt может оказаться недостаточно.

Как рассказал Мэтт Катс (Matt Cutts) в своем блоге, закрытые страницы с помощью директив в файле robots.txt могут отображаться в результатах поисковой выдаче, однако без заголовка и описания страницы.

Такое явление может происходить, например, когда на страницу есть ссылки или страница сайта описана каталоге DMOZ (ODP). Для того, чтобы полностью скрыть/удалить страницу сайта из индекса Google нужно использовать тег noindex. В случае, если на странице присутствует данный тег, Google исключает ее из результатов поиска. Даже в том случае, если содержание страницы уже находится в индексе Google, то оно будет удалено при следующем сканировании ее роботом. Кроме того, рекомендуется пользоваться инструментами вебмастера для ускорения удаления страниц из результатов поисковой выдачи Google.

Рекомендуем по личному опыту:


Hosting Ukraine

Оставить комментарий:

Ваше имя :
E-mail (не будет опубликован) :
Ваш комментарий :