Максим Епишин. Поисковая система Metabot

Вы можете знать - или не знать, - но ни в одной из поисковых систем нет индекса ВСЕХ существующих веб-страниц. OpenFind утверждает, что содержит в индексе 3,5 миллиона веб-страниц, Google сообщает о 2,4 миллиона, AlltheWeb - 2,1 миллиона, Inktomi - чуть больше 2 миллионов, WiseNut - 1,5 миллиона, а AltaVista - 1 миллион веб-страниц.На самом деле, никто не знает, насколько простирается всемирная паутина. Одни считают, что в ней 5 миллионов страниц, другие - 8 миллионов, а третьи - даже больше. В любом случае, совершенно точно то, что основные поисковые системы (ПС) индексируют только часть "публично индексируемой паутины". Кроме того, каждая ПС индексирует разные веб-страницы, а это значит, что, пользуясь только одной ПС, вы упустите соответствующие запросу результаты, которые можно найти в других поисковых системах. Единственный способ сделать поиск по WWW более эффективным - использовать мета-поисковую систему.

Мета-поисковая система (также называемая метакраулером или мульти-поточной системой) - это поисковый инструмент, посылающий ваш запрос одновременно на несколько поисковых систем (ПС), каталогов и, иногда, в так называемую невидимую (скрытую) паутину - собрание онлайновой информации, не проиндексированной традиционными поисковыми системами. Собрав результаты, мета-поисковая система (МПС) удаляет дублированные ссылки и, в соответствии со своим алгоритмом, объединяет/ранжирует результаты в общем списке.

Важно: в отличии от отдельных поисковых систем и директорий, мета-поисковые системы:
- не имеют собственных баз данных
- не регистрируют URLы сайтов

Основное отличие мета-поисковой системы от обычного поисковика заключается в предоставлении суммарной информации, полученной от нескольких поисковых систем в соответствии с запросом пользователя. MetaBot опрашивает все значительные Российские поисковые системы и каталоги, обеспечивая максимальный охват Рунета.
Цель системы - сэкономить время пользователя, при этом повысив степень соответствия результатов запросу. Помимо российского и мирового мета-поиска система предоставляет возможность поиска файлов на FTP-серверах, что удобно при скачивании из Сети файлов в формате MP3, видео, картинок, а также программного обеспечения.
Условно говоря, MetaBot состоит из двух интеллектуальных модулей - модуля обработки запроса пользователя и разбора синтаксиса, а также модуля сортировки полученных результатов и спам-фильтра. Первый модуль решает задачу приведения синтаксиса запросов всех опрашиваемых поисковых машин к единой схеме. Т.е. система понимает заявленный синтаксис каждой опрашиваемой поисковой системы и умеет переводить одну синтаксическую схему в другую. Второй модуль сортирует полученные от нескольких поисковых машин результаты с учетом их позиции в результатах поиска опрашиваемых систем. На рейтинг конкретной ссылки также влияют повторы, релевантность отдельно взятого документа и другие факторы. Спам-фильтр отслеживает многократное появление идентичных документов в одном домене и присваивает таковым низший рейтинг.
В результате пользователь получает компактный список ссылок, в котором одинаковые документы объединены в единый блок, описания и заголовки документов выбраны по принципу наибольшего соответствия запросу. В данный момент готовится к публикации подробное описание приемов эффективной работы с поисковой системой, а также описания и сравнительные характеристики отдельных поисковых машин. В скором времени MetaBot обещает представить статистику и сервис для моментального определения рейтинга индексируемости конкретного домена.

Знаете ли Вы, что релятивизм (СТО и ОТО) не является истинной наукой? - Истинная наука обязательно опирается на причинность и законы природы, данные нам в физических явлениях (фактах). В отличие от этого СТО и ОТО построены на аксиоматических постулатах, то есть принципиально недоказуемых догматах, в которые обязаны верить последователи этих учений. То есть релятивизм есть форма религии, культа, раздуваемого политической машиной мифического авторитета Эйнштейна и верных его последователей, возводимых в ранг святых от релятивистской физики. Подробнее читайте в FAQ по эфирной физике.

российская мета-поисковая система