Как работают поисковые системы?

Поисковые системы являются информационно-справочными узлами, которые используют абсолютно все пользователи интернета. Но мало кто из нас задумывается о том, как работают поисковые системы. Да для большинства пользователей это будет абсолютно ненужная информация. Но если вы решили «продвинуть» свой сайт в зону видимости поисковых машин, то нужно обязательно вначале понять принцип их работы перед началом оптимизации сайта под поисковые машины. Поэтому давайте разберемся, как работают поисковые машины.

Нетрудно догадаться, что поисковая машина должна состоять из мощной системы поиска новых адресов в интернете, системы скачивания информации с найденных адресов, базой данных для хранения, выкаченной из интернета информации и программы, которая индексирует всю выкаченную информацию (привязывает к определенной странице определенные ключевые слова, а затем присваивает странице какой-либо индекс).

Итак, все начинается со сбора новых адресов. На раннем этапе разработчики поисковых систем просто забили адреса сайтов, которые на тот момент находились в различных интернет-каталогах. А затем запустили поисковую программу по этим адресам, чтобы она находила все новые ссылки на каталожных ресурсах, а потом добавляла к изначальному набору адресов. В наши дни поле деятельности поисковых ботов значительно возросло.

Поэтому при добавлении новых страниц сайта они рано или поздно попадут в этот список, если адрес сайта имеется в списке. А если адреса сайта нет в списке, то без ссылки на ваш сайт с постороннего ресурса поисковый бот долго не будет вашим гостем. Для ускорения этого процесса поисковыми системами и была придумана возможность вручную зарегистрировать веб-страничку любым пользователем. Процедура эта бесплатна и ускорит приход на ваш ресурс поискового бота. Поэтому обязательно воспользуйтесь ей.Ну а на следующем этапе происходит выкачка информации. Эту работу выполняет другой поисковый бот, который по составленному предыдущим ботом списку посещает веб-странички и скачивает информацию.

Затем вся выкаченная информация передается индексному боту, который вначале убирает из информации о страничках все кроме адреса и текста, а затем раскладывает информацию алфавитном порядке и присваивает индекс. В результате все адреса страничек разложены по порядку и снабжены ключевыми словами из текста страничек.

Как раз со списком индексного бока и работает поисковая система. Именно эти списки и выскакивают в результате поиска системы по введенному пользователем вопросу. Поэтому точность результатов поиска зависит от индексного бота. Поэтому точный принцип построения им индексного списка хозяева поисковых систем скрывают. Ведь от более правильного построения списка и поиска в нем введенных пользователем слов и зависит популярность системы, а соответственно и доход ее владельцев.

Но для оптимизации собственного сайта необходимо хотя бы в общих чертах понять, как поисковые системы находят «правильные» или, как говорят оптимизаторы «релевантные» страницы. Для этого нужно понять, как устроен индекс поисковых систем.

Вначале индексный бот преобразует информацию со страницы в текст. Во время этого процесса все теги, коды и графика беспощадно убирается. Затем бот разбивает текст на слова и распределяет их в алфавитном порядке. А вот здесь начинается самое интересное – у каждой поисковой системы свое определение слова.

Затем индексный бот обрабатывает слова по одному ему известному алгоритму. В свободном доступе информации об этом алгоритме нет, но зато есть много домыслов, которые повторять не интересно. Но суть этого алгоритма ясна – сжать всю информацию в небольшую фразу или в пару ключевых слов, чтобы в индексе эти слова занимали как можно меньше места.

Затем все слова сводятся в индекс в алфавитном порядке с привязкой к адресам веб-страниц, с которых и была выкачана информация. Причем программа создает два индекса для одной и той же веб-странички прямой для выдачи результата поиска и инвертный для работы поисковой системы. Поэтому на серверах поисковых систем хранится фактически текстовая копия всего интернета. Ну а с результатами работы индексного бота встречался каждый пользователь сети.