какие компоненты включает поисковый робот
Роботы поисковой системы
Роботы поисковой системы, иногда их называют «пауки» или «кроулеры» (crawler) — это программные модули, занимающиеся поиском web-страниц. Как они работают? Что же они делают в действительности? Почему они важны?
Учитывая весь шум вокруг поисковой оптимизации и индексных баз данных поисковиков, вы, наверное думаете, что роботы должно быть великие и могущественные существа. Неправда. Роботы поисковика обладают лишь базовыми функциями, похожими на те, которыми обладали одни из первых броузеров, в отношении того, какую информацию они могут распознать на сайте. Как и ранние броузеры, роботы попросту не могут делать определенные вещи. Роботы не понимают фреймов, Flash анимаций, изображений или JavaScript. Они не могут зайти в разделы, защищенные паролем и не могут нажимать на все те кнопочки, которые есть на сайте. Они могут «заткнуться» в процессе индексирования динамических адресов URL и работать очень медленно, вплоть до остановки и безсилием над JavaScript-навигацией.
Как работают роботы поисковой машины?
Поисковые роботы стоит воспринимать, как программы автоматизированного получения данных, путешествующие по сети в поисках информации и ссылок на информацию.
Когда, зайдя на страницу «Submit a URL», вы регистрируете очередную web-страницу в поисковике — в очередь для просмотра сайтов роботом добавляется новый URL. Даже если вы не регистрируете страницу, множество роботов найдет ваш сайт, поскольку существуют ссылки из других сайтов, ссылающиеся на ваш. Вот одна из причин, почему важно строить ссылочную популярность и размещать ссылки на других тематических ресурсах.
Прийдя на ваш сайт, роботы сначала проверяют, есть ли файл robots.txt. Этот файл сообщает роботам, какие разделы вашего сайта не подлежат индексации. Обычно это могут быть директории, содержащие файлы, которыми робот не интересуется или ему не следовало бы знать.
Роботы хранят и собирают ссылки с каждой страницы, которую они посещают, а позже проходят по этим ссылкам на другие страницы. Вся всемирная сеть построена из ссылок. Начальная идея создания Интернет сети была в том, что бы была возможность перемещаться по ссылкам от одного места к другому. Вот так перемещаются и роботы.
«Остроумность» в отношении индексирования страниц в реальном режиме времени зависит от инженеров поисковых машин, которые изобрели методы, используемые для оценки информации, получаемой роботами поисковика. Будучи внедрена в базу данных поисковой машины, информация доступна пользователям, которые осуществляют поиск. Когда пользователь поисковой машины вводит поисковый запрос, производится ряд быстрых вычислений для уверенности в том, что выдается действительно правильный набор сайтов для наиболее релевантного ответа.
Вы можете просмотреть, какие страницы вашего сайта уже посетил поисковый робот, руководствуясь лог-файлами сервера, или результатами статистической обработки лог-файла. Идентифицируя роботов, вы увидите, когда они посетили ваш сайт, какие страницы и как часто. Некоторые роботы легко идентифицируются по своим именам, как Google’s «Googlebot». Другие более скрытые, как, например, Inktomi’s «Slurp». Другие роботы так же могут встречаться в логах и не исключено, что вы не сможете сразу их идентифицировать; некоторые из них могут даже оказаться броузерами, которыми управляют люди.
Помимо идентификации уникальных поисковых роботов и подсчета количества их визитов, статистика также может показать вам агрессивных, поглощающих ширину катала пропускания роботов или роботов, нежелательных для посещения вашего сайта.
Как они читают страницы вашего web-сайта?
Когда поисковой робот посещает страницу, он просматривает ее видимый текст, содержание различных тегов в исходном коде вашей страницы (title tag, meta tags, и т.д.), а так же гиперссылки на странице. Судя по словам ссылок, поисковая машина решает, о чем страница. Есть много факторов, используемых для вычисления ключевых моментов страницы «играющих роль». Каждая поисковая машина имеет свой собственный алгоритм для оценки и обработки информации. В зависимости от того, как робот настроен, информация индексируется, а затем доставляется в базу данных поисковой системы.
После этого, информация, доставленная в индексные базы данных поисковой системы, становится частью поисковика и процесса ранжирования в базе. Когда посетитель существляет запрос, поисковик просматривает всю базу данных для выдачи конечного списка, релевантного поисковому запросу.
Базы данных поисковых систем подвергаются тщательной обработке и приведению в соответствие. Если вы уже попали в базу данных, роботы будут навещать вас периодически для сбора любых изменений на страницах и уверенности в том, что обладают самой последней информацией. Количество посещений зависит от установок поисковой машины, которые могут варьироваться от ее вида и назначения.
Иногда поисковые роботы не в состоянии проиндексировать web-сайт. Если ваш сайт упал или на сайт идет большое количество посетителей, робот может быть безсилен в попытках его индексации. Когда такое происходит, сайт не может быть переиндексирован, что зависит от частоты его посещения роботом. В большинстве случаев, роботы, которые не смогли достичь ваших страниц, попытаются позже, в надежде на то, что ваш сайт в ближайшее время будет доступен.
Многие поисковые роботы не могут быть идентифицированы, когда вы просматриваете логи. Они могут посещать вас, но логи утверждают, что кто-то использует Microsoft броузер и т.д. Некоторые роботы идентифицируют себя использованием имени поисковика (googlebot) или его клона (Scooter = AltaVista).
В зависимости от того, как робот настроен, информация индексируется, а затем доставляется в базы данных поисковой машины.
Базы данных поисковых машин подвергаются модификации в различные сроки. Даже директории, имеющие вторичные поисковые результаты используют данные роботов как содержание своего web-сайта.
Собственно, роботы не используются поисковиками лишь для вышеизложенного. Существуют роботы, которые проверяют баз данных на наличие нового содержания, навещают старое содержимое базы, проверяют, не изменились ли ссылки, загружают целые сайты для просмотра и так далее.
По этой причине, чтение лог-файлов и слежение за выдачей поисковой системы помогает вам наблюдать за индексацией ваших проектов.
Как работает и какие компоненты включает поисковый робот? 
Первое, что нужно сделать для продвижения сайта – это понять, как работают поисковики и что такое раскрутка. Современные поисковые системы разрабатывают и улучшают так, чтобы предоставить пользователю максимально полезную информацию.
Для этого за много лет их работы было разработано множество специальных алгоритмов для анализа текста, его полезности и качества. Конечно, мнение робота не может быть объективным, к сожалению или к счастью поисковик не может прочитать статью и определить, интересна она или нет.
Для этого он анализирует текст по многим параметрам. Цель такого анализа по большей части заключается в том, чтобы отсеять намеренно оптимизированные статьи или очень далекие от темы материалы. Проверка позиций сайта в поисковиках позволит вам узнать вашу позицию в поисковой выдаче, вследствие чего вы узнаете на сколько популярен ваш ресурс.
Несколько лет назад алгоритмы были проще. Поисковик учитывал количество «воды в тексте», его «тошноту», количество вхождения анкоров (ключевых слов) и много других второстепенных значений, которые редко учитывались. Многим копирайтерам известны эти термины, и они с ужасом вспоминают те времена, когда их учитывали.
Для тех, кто первый раз слышит эти термины, поясню:
Последний показатель помогает определить роботу, о чем написан текст. Пока что алгоритмы анализа текста не совершенны, однако они гораздо качественнее определяют качество и актуальность информации.
Уважаемые посетители, сохраните эту статью в социальных сетях. Мы публикуем очень полезные статьи, которые помогут Вам в вашем деле. Поделитесь! Жмите!
Чтобы определить тему текста написанного на странице, поисковик ищет наиболее встречающиеся фразы, которые выделены, текст заголовков и тегов. После определения тематики анализируется качество текста по определенным характеристикам, которые известны только нескольким людям на планете.
Таким образом, система понимает и выводит ссылки страницы в поисковом запросе. Определить позицию вашего сайта, поможет сервис проверки позиций сайта. Не стоит забывать про один из важнейших показателей для определения качества текста – это его уникальность. Поисковики очень не любят плагиат.
Если статья уже была где-то выставлена, а на сайт ее просто скопировали, то такой текст имеет очень низкую актуальность. Исключение может быть только тогда, когда другие параметры перевешивают этот. Уникальность материала поисковики учитывали и будут учитывать всегда.
Уникальность текста показывается в процентах, существует допустимая норма, в процентном содержании, плагиата, которую допускает поисковой робот, до того как контент будет считаться не актуальным. Проверка позиций сайта в поисковиках покажет актуальность контента, чем выше страница в поисковой выдаче, тем выше актуальность контента на ней.
Что такое поисковый робот, и как он работает
Поделиться этим постом
Чтобы знать и понимать принципы сканирования и индексации, стоит ознакомиться с особенностями работы поисковых роботов. Они принимают непосредственное участие в этих процессах, собирают и обновляют всю информацию о страницах сайта. Подробнее о том, что такое поисковый робот, и как он работает, поговорим в этом посте.
1. Что такое поисковый робот
Поисковый робот — это программа для сканирования и индексации сайтов. Он позволяет поисковой системе получить сведения о веб-страницах и внести их в базу для последующей выдачи пользователям при запросе. Боты не анализируют собранные данные, а только передают их на сервера поисковых систем. Для эффективной индексации сайта необходимо учитывать особенности обработки веб-страниц ботами.
Поисковых роботов называют по-разному: краулеры, боты, веб-пауки. Во всех этих случаях речь идёт об одинаковых программах. Они заходят на сайт, заносят содержимое в индекс и находят ссылки, по которым переходят на другие страницы. Для ускорения индексации создаются файлы robots.txt и XML Sitemap.
Чтобы узнать, есть ли URL в индексе Google, выполните проверку в сервисе Google Search Console.
Для проверки страниц в индексе Яндекс, откройте отчёт «Страницы в поиске» в Яндекс.Вебмастер.
Также в сервисе можно запросить переобход URL в панели Яндекс.Вебмастера в разделе «Переобход новых страниц». С помощью данного инструмента можно добавить до 90 новых страниц в день.
2. Принцип работы поисковых роботов и их функции
Поисковая выдача формируется в три этапа:
Иногда процесс индексации страниц происходит даже без их предварительного сканирования. В файле robots.txt указываются правила для сканирования, но не индексирования страниц. Поэтому если поисковый робот обнаружит страницу другим способом, например, если на неё ссылаются сторонние ресурсы, то может добавить её в базу.
В данном случае необходимо убрать запрет на сканирование этих служебных страниц из файла robots.txt, используя только запрет индексации на страницах:
2.1. Рекомендации роботам по доступу к контенту сайта
Рекомендации по индексации материалов на сайте можно задавать с помощью файлов sitemap.xml и robots.txt:
В robots.txt для запрета индексации используется директива Disallow. Например, чтобы полностью запретить доступ всех ботов к сайту, прописываются такие строчки кода:
При добавлении директив их порядок не принципиален, после данной команды можно открыть какой-либо раздел сайта для индексации при помощи директивы Allow.
3. Особенности работы с поисковыми ботами
Чтобы индексация сайта поисковыми роботами происходила быстро и эффективно, необходимо:
3.1. Высокая нагрузка на сервер при посещениях роботов
Индексация ботами поисковых систем крайне важна для продвижения, однако в некоторых ситуациях она может перегружать сервер, либо под видом роботов сайт могут атаковать хакеры. Чтобы знать цели, с которыми боты обращаются к ресурсу, и отслеживать возможные проблемы, проверяйте логи сервера и динамику серверной нагрузки в панели хостинг-провайдера. Критические значения могут свидетельствовать о проблемах, связанных с активным доступом к сайту поисковых роботов.
Когда роботы перегружают сервер слишком активными запросами к сайту, можно снизить их скорость обхода. Как это сделать, узнайте из справок Яндекс и Google.
3.2. Проблемы из-за доступа фейковых ботов к сайту
Бывает, что под видом ботов Google к сайту пытаются получить доступ спамеры или хакеры. Если возникла такая проблема, проверьте, действительно ли сайт сканирует поисковый робот Google:
Полученный IP-адрес должен совпадать с исходным в логах сервера, иначе это говорит о том, что имя бота поддельное. В данном случае сайт действительно сканировал Googlebot Аналогично проверяются и вызвавшие подозрения боты Яндекса.
Чтобы узнать, как тот или иной поисковый бот сканирует ваш сайт, воспользуйтесь краулером Netpeak Spider, который позволяет имитировать поведение робота. Для анализа необходимо:
Проверять, как сайт отвечает на запросы от разных User agent, вы можете в бесплатной версии Netpeak Spider без ограничений по времени! Во Freemium-версии также доступны и многие другие базовые функции программы.
Чтобы начать пользоваться бесплатным Netpeak Spider, просто зарегистрируйтесь, скачайте и установите программу — и вперёд! 😉
P.S. Сразу после регистрации у вас также будет возможность потестировать весь платный функционал, а затем сравнить все наши тарифы и выбрать для себя подходящий.
3.3. Список ботов поисковых систем
Поисковые системы используют различные типы роботов: для индексации обычных страниц, новостей, изображений, фавиконов и прочих типов контента. Список IP-адресов, которые используют боты поисковиков, постоянно меняется и не разглашается.
3.2.1. Роботы Google
Полный список роботов Google можно посмотреть в справке. Рассмотрим наиболее популярных ботов:
3.2.2. Роботы Яндекс
У Яндекса тоже обширный список ботов, который можно детально изучить в Яндекс.Помощи. Расскажу о некоторых из них:
Подводим итоги
Благодаря поисковым роботам происходит сканирование и индексация ресурсов. Робот сам находит новые веб-страницы, но чтобы ускорить индексацию, можно сообщить о появлении новых URL вручную посредством инструментов поисковых систем (Google Search Console, Яндекс.Метрика). Для управления индексацией материалов можно задать указания ботам при помощи файлов XML Sitemap и robots.txt.
А как вы «общаетесь» с ботами поисковых систем? Делитесь в комментариях.
Виды поисковых роботов
Поисковый робот или паук — это специальная программа, предназначенная для сканирования сайтов. Робот, переходя по ссылкам, индексирует информацию и сохраняет ее в базе поисковых систем.
Существует множество видов различных поисковых роботов, каждый из которых выполняет определенную функцию.
Подробнее узнать о поисковых роботах Google можно в официальной справке компании.
Подробнее о поисковых роботах Яндекса можно в официальной справке компании.
При помощи файла robots.txt или мета-тега можно запретить поисковым роботам индексацию определенных страниц. Для этого нужно добавить соответствующие правила, и указать к какому роботу они относятся в директиве User-agent файла robots.txt или атрибуте name мета-тега.
Например, нижеприведенный код в файле robots.txt запрещает роботу Яндекс.Картинок индексировать все изображения.
А этот запрещает главному поисковому роботу Google индексировать страницу, на которой размещен данный тег:
О том, как правильно настроить индексирование сайта, можно узнать в статье.
Ждите новые заметки в блоге или ищите на нашем сайте.
Добавил в закладки, очень полезный материал. Часто бывает нужно указать бота, и приходится лезть в документацию поисковиков.
Действительно, а как выучить английский? Спойлер — никак. А вот овладеть языком вполне реально. Сегодня расскажем, как это сделать.
Насколько хорошо ИИ может имитировать человеческую этику? Тестирование бота Ask Delphi от Института Аллена показало неожиданные результаты.
16 октября 2021 создал заказ (штатив), оплатил заказ (часть картой, часть бонусными рублями). 3 ноября он был готов к выдаче.
Директор по логистике ПГК Михаил Петров рассказал о том, почему логисты должны быть профессиональными коммуникаторами и «жадинами».
Согласно опросу сервиса «Работа.ру» четверть работающих россиян хотели бы всегда трудиться из дома.
Решил поделиться своим опытом с читателями vc своим опытом по переезду в Таллин 🙂
Как не имея релевантного опыта перейти в Data Science из другой сферы? Какие инструменты могут помочь развить новые профессиональные навыки и какой стратегии лучше придерживаться в обучении, рассказал специалист по анализу данных и машинному обучению Первой грузовой компании Павел Куницын. Подготовили топ-5 основных правил от нашего коллеги.
Какие компоненты включает поисковый робот. Как работают поисковые роботы. Как управлять индексацией
Роботы поисковой системы, иногда их называют «пауки» или «кроулеры» (crawler) — это программные модули, занимающиеся поиском web-страниц. Как они работают? Что же они делают в действительности? Почему они важны?
Учитывая весь шум вокруг поисковой оптимизации и индексных баз данных поисковиков, вы, наверное думаете, что роботы должно быть великие и могущественные существа. Неправда. Роботы поисковика обладают лишь базовыми функциями, похожими на те, которыми обладали одни из первых броузеров, в отношении того, какую информацию они могут распознать на сайте. Как и ранние броузеры, роботы попросту не могут делать определенные вещи. Роботы не понимают фреймов, Flash анимаций, изображений или JavaScript. Они не могут зайти в разделы, защищенные паролем и не могут нажимать на все те кнопочки, которые есть на сайте. Они могут «заткнуться» в процессе индексирования динамических адресов URL и работать очень медленно, вплоть до остановки и безсилием над JavaScript-навигацией.
Как работают роботы поисковой машины?
Поисковые роботы стоит воспринимать, как программы автоматизированного получения данных, путешествующие по сети в поисках информации и ссылок на информацию.
Когда, зайдя на страницу «Submit a URL», вы регистрируете очередную web-страницу в поисковике — в очередь для просмотра сайтов роботом добавляется новый URL. Даже если вы не регистрируете страницу, множество роботов найдет ваш сайт, поскольку существуют ссылки из других сайтов, ссылающиеся на ваш. Вот одна из причин, почему важно строить ссылочную популярность и размещать ссылки на других тематических ресурсах.
Прийдя на ваш сайт, роботы сначала проверяют, есть ли файл robots.txt. Этот файл сообщает роботам, какие разделы вашего сайта не подлежат индексации. Обычно это могут быть директории, содержащие файлы, которыми робот не интересуется или ему не следовало бы знать.
Роботы хранят и собирают ссылки с каждой страницы, которую они посещают, а позже проходят по этим ссылкам на другие страницы. Вся всемирная сеть построена из ссылок. Начальная идея создания Интернет сети была в том, что бы была возможность перемещаться по ссылкам от одного места к другому. Вот так перемещаются и роботы.
«Остроумность» в отношении индексирования страниц в реальном режиме времени зависит от инженеров поисковых машин, которые изобрели методы, используемые для оценки информации, получаемой роботами поисковика. Будучи внедрена в базу данных поисковой машины, информация доступна пользователям, которые осуществляют поиск. Когда пользователь поисковой машины вводит поисковый запрос, производится ряд быстрых вычислений для уверенности в том, что выдается действительно правильный набор сайтов для наиболее релевантного ответа.
Вы можете просмотреть, какие страницы вашего сайта уже посетил поисковый робот, руководствуясь лог-файлами сервера, или результатами статистической обработки лог-файла. Идентифицируя роботов, вы увидите, когда они посетили ваш сайт, какие страницы и как часто. Некоторые роботы легко идентифицируются по своим именам, как Google’s «Googlebot». Другие более скрытые, как, например, Inktomi’s «Slurp». Другие роботы так же могут встречаться в логах и не исключено, что вы не сможете сразу их идентифицировать; некоторые из них могут даже оказаться броузерами, которыми управляют люди.
Помимо идентификации уникальных поисковых роботов и подсчета количества их визитов, статистика также может показать вам агрессивных, поглощающих ширину катала пропускания роботов или роботов, нежелательных для посещения вашего сайта.
Как они читают страницы вашего web-сайта?
Когда поисковой робот посещает страницу, он просматривает ее видимый текст, содержание различных тегов в исходном коде вашей страницы (title tag, meta tags, и т.д.), а так же гиперссылки на странице. Судя по словам ссылок, поисковая машина решает, о чем страница. Есть много факторов, используемых для вычисления ключевых моментов страницы «играющих роль». Каждая поисковая машина имеет свой собственный алгоритм для оценки и обработки информации. В зависимости от того, как робот настроен, информация индексируется, а затем доставляется в базу данных поисковой системы.
После этого, информация, доставленная в индексные базы данных поисковой системы, становится частью поисковика и процесса ранжирования в базе. Когда посетитель существляет запрос, поисковик просматривает всю базу данных для выдачи конечного списка, релевантного поисковому запросу.
Базы данных поисковых систем подвергаются тщательной обработке и приведению в соответствие. Если вы уже попали в базу данных, роботы будут навещать вас периодически для сбора любых изменений на страницах и уверенности в том, что обладают самой последней информацией. Количество посещений зависит от установок поисковой машины, которые могут варьироваться от ее вида и назначения.
Иногда поисковые роботы не в состоянии проиндексировать web-сайт. Если ваш сайт упал или на сайт идет большое количество посетителей, робот может быть безсилен в попытках его индексации. Когда такое происходит, сайт не может быть переиндексирован, что зависит от частоты его посещения роботом. В большинстве случаев, роботы, которые не смогли достичь ваших страниц, попытаются позже, в надежде на то, что ваш сайт в ближайшее время будет доступен.
Многие поисковые роботы не могут быть идентифицированы, когда вы просматриваете логи. Они могут посещать вас, но логи утверждают, что кто-то использует Microsoft броузер и т.д. Некоторые роботы идентифицируют себя использованием имени поисковика (googlebot) или его клона (Scooter = AltaVista).
В зависимости от того, как робот настроен, информация индексируется, а затем доставляется в базы данных поисковой машины.
Базы данных поисковых машин подвергаются модификации в различные сроки. Даже директории, имеющие вторичные поисковые результаты используют данные роботов как содержание своего web-сайта.
Собственно, роботы не используются поисковиками лишь для вышеизложенного. Существуют роботы, которые проверяют баз данных на наличие нового содержания, навещают старое содержимое базы, проверяют, не изменились ли ссылки, загружают целые сайты для просмотра и так далее.
По этой причине, чтение лог-файлов и слежение за выдачей поисковой системы помогает вам наблюдать за индексацией ваших проектов.
Всем привет! Сегодня я вам расскажу о том, как работает поисковый робот. Также вы узнаете, что такое поисковые роботы. Их назначение и особенность.
Для начала, начну, пожалуй, с определения.
Поисковый робот – это своего рода программа, которая посещает гипертекстовые ссылки, извлекая из того или иного ресурса все последующие документы занося их в индекс поисковой системы.
У каждого поискового робота, есть свое уникальное название – Краулер, Паук и т.д.
Что делает поисковый робот
Как я уже говорил, каждый робот имеет свое уникальное имя и соответственно, каждый выполняет свою определенную работу, или скажем так, предназначение.
Давайте рассмотрим, какие функции они выполняют:
Например, у Яндекса существует несколько роботов, которые отдельно индексируют, анализируют, проводят сбор информации о следующих данных:
Вообще, по сути, поисковый робот всего-навсего посещает интернет ресурсы, собирая необходимые данные, которые он потом передает индексатору поисковой машины.
Именно индексатор поисковой машины обрабатывает полученные данные, и выстраивает индекс поисковой системы должным образом. Я бы даже сказал, что робот – это «курьер», который всего лишь собирает информацию.
Как ведут себя роботы и как ими управлять
Отличия поведения робота от простого пользователя на сайте, заключается в следующем:
1. Во первых, это касается управляемости. В первую очередь, робот запрашивает с вашего хостинга () файл robots.txt, в котором указанно, что можно индексировать, а что нельзя.
2. Особенное отличие робота – это скорость. Между каждыми запросами, которые относятся к двум разным документам, их скорость составляет секунды, а то и доли секунды.
Даже для этого, есть специальное правило, которое можно указать в файле robots.txt, чтобы роботу поисковых систем поставить ограничение к запросам, тем самым уменьшив нагрузку на блог.
3. Также, хотелось бы отметить их непредсказуемость. Когда робот посещает ваш блог, его действия невозможно отследить, невозможно узнать, откуда он пришел т.п. Он действует по своему принципу, и в том порядке, как построена очередь индексации.
4. И еще один момент, это когда робот, в первую очередь обращает внимание на гипертекстовые и текстовые документы, а не на всякие файлы, касающиеся оформления CSS и т.п.
Хотите посмотреть, как выглядит страница вашего блога в глазах поискового робота? Просто-напросто, отключите в своем браузере отображение Flash, картинок и стилей оформления.
И вы увидите, что любой поисковый робот заносит в индекс, только HTML-код страницы, без всяких картинок и прочего содержания.
А теперь, настало время поговорить, как ими управлять. Как я уже говорил ранее, управлять роботами можно через специальный файл robots.txt, в котором можно прописывать нужные нам инструкции и исключения, чтобы контролировать их поведение на своем блоге.
Подбор доменного имени
Поисковые машины
Скажи мне, что ты ищешь в Интернете, и я скажу, кто ты
Как работает поисковая машина
Поисковые системы можно сравнить со справочной службой, агенты которой обходят предприятия, собирая информацию в базу данных (рис. 4.21). При обращении в службу информация выдается из этой базы. Данные в базе устаревают, поэтому агенты их периодически обновляют. Некоторые предприятия сами присылают данные о себе, и к ним агентам приезжать не приходится. Иными словами, справочная служба имеет две функции: создание и постоянное обновление данных в базе и поиск информации в базе по запросу клиента.
Аналогично, поисковая машина состоит из двух частей: так называемого робота (или паука), который обходит серверы Сети и формирует базу данных поискового механизма.
Проблема недостаточности полноты поиска состоит не только в ограниченности внутренних ресурсов поисковика, но и в том, что скорость робота ограниченна, а количество новых Web-документов постоянно растет. Увеличение внутренних ресурсов поисковой машины не может полностью решить проблему, поскольку скорость обхода ресурсов роботом конечна.
Построение индекса
Схема построения индекса показана на рис. 4.23. Сетевые агенты, или роботы-пауки, «ползают» по Сети, анализируют содержимое Web-страниц и собирают информацию о том, что и на какой странице было обнаружено.
Поисковым роботом называется специальная программа какой-либо поисковой системы, которая предназначена для занесения в базу (индексирования) найденных в Интернете сайтов и их страниц. Также используются названия: краулер, паук, бот, automaticindexer, ant, webcrawler, bot, webscutter, webrobots, webspider.
Принцип работы
Поисковый робот — это программа браузерного типа. Он постоянно сканирует сеть: посещает проиндексированные (уже известные ему) сайты, переходит по ссылкам с них и находит новые ресурсы. При обнаружении нового ресурса робот процедур добавляет его в индекс поисковика. Поисковый робот также индексирует обновления на сайтах, периодичность которых фиксируется. Например, обновляемый раз в неделю сайт будет посещаться пауком с этой частотой, а контент на новостных сайтах может попасть в индекс уже через несколько минут после публикации. Если на сайт не ведет ни одна ссылка с других ресурсов, то для привлечения поисковых роботов ресурс необходимо добавить через специальную форму (Центр вебмастеров Google, панель вебмастера Яндекс и т.д.).
Виды поисковых роботов
Другие поисковики также используют роботов нескольких видов, функционально схожих с перечисленными.