Как управлять индексацией сайта?

Для ускорения индексации страниц сайта необходимо понять, как управлять поведением поискового бота на сайте. Так можно запретить боту индексацию определенных страниц. Это в большей степени относится к всевозможным форумам. Ведь через поисковик вряд ли будут искать служебную информацию, профили пользователей сайта и список участников форума. Поэтому их можно смело запрещать для индексации поисковым ботом, что значительно облегчит ему работу.

Кроме того, желательно запретить индексировать боту версии страниц для печати. Ведь если они попадут в результаты поиска, то пользователь не сможет пользоваться меню сайта при переходе с поисковой системы на эту страницу. А значит, и посетить другие странички сайта он не сможет. Выполняют запрет на индексацию страниц с помощью размещения специальной инструкции в файле robots.txt или в метатеге, который расположен внутри головного тега “head” html-кода странички. Для управления индексацией страницы сайта нужно воспользоваться метатегом meta name=”robots” content=”....”. Именно в атрибуте content (вместо точек) и нужно ввести инструкцию, которая будет запрещать или разрешать индексировать страницу.

А хранятся инструкции по индексации сайта в файле robots.txt, который находится в корневой директории ресурса. Именно к нему и обращается поисковый бот при каждом обращении к сайту.В этом файле записано, кому разрешена индексация сайта. А если файл отсутствует в корневой папке, то все страницы сайта будут индексироваться поисковыми ботами всех поисковых систем.Если в файле прописать следующее:

User-agent: StackGoogl

Disallow: /cqi-bin/.

То такая запись, запретит индексацию поисковой системой Гугл файлов, которые находятся в директории cqi-bin. Но зато боты других поисковых систем смогут индексировать файлы директории cqi-bin.