Многие из известных информационно-поисковых систем базируются на векторно-пространственной модели описания данных (Vector Space Model), предложенной Г. Солтоном в 1975 г. и впервые примененной в системе SMART [131]. Данная модель является классической алгебраической. В рамках этой модели документ описывается вектором в евклидовом пространстве, в котором каждому терму, использующемуся в документе, ставится в соответствие его весовое значение, определяемое на основе статистической информации о его появлении как в отдельном документе, так и во всем документальном массиве. Описание запроса, соответствующего необходимой пользователю тематике, также представляет собой вектор в том же евклидовом пространстве термов. Для оценки близости запроса и документа используется скалярное произведение соответствующих векторов запроса и документа.
В рамках этой модели каждому терму в документе соответствует некоторый неотрицательный вес .
Каждому запросу , который представляет собой также множество термов, не соединенных между собой никакими логическими операторами, также соответствует вектор весовых значений .
Таким образом, каждый документ и запрос могут быть представлены в виде мерного вектора, где его мерность - общее количество термов в словаре модели. В соответствии с рассматриваемой моделью, близость документа к запросу рассматривается как информационные векторы и оценивается как их скалярное произведение. При этом вес отдельных термов можно вычислять разными способами. Один из возможных простейших подходов - использовать как вес терма в документе нормализованную частоту его встречаемости в данном документе, то есть:
Вычисленный таким образом вес терма в документе принято обозначать аббревиатурой или просто TF (от англ. Term Frequency – частота термина).
Однако этот подход не учитывает, насколько часто рассматриваемый терм используется во всем массиве документов, так называемую, дискриминационную силу терма. Поэтому в случае, когда доступна статистика использования термов во всем документальном массиве, более эффективно правило вычисления веса терма.
Обычно весовые значения нормируются путем деления на их общую сумму. Такой метод взвешивания термов указывает не на частоту появления терма в документе, а на величину, обратную количеству документов в массиве, содержащих данный терм (от англ. - inverse document frequency).
Когда возникает задача определения тематической близости двух документов или документа и запроса, в этой модели используется простое скалярное произведение двух соответствующих векторов весовых значений и которое соответствует косинусу угла между векторами - образами документов и . Очевидно, принадлежит диапазону [0, 1]. Чем больше величина - тем более близки документы.
Векторно-пространственная модель представления данных обеспечивает системам, построенным на ее основе, такие возможности, как:
- обработку запросов без ограничений их длины;
- простоту реализации режима поиска подобных документов (каждый документ может рассматриваться как запрос);
- сохранение результатов поиска с возможностью выполнения уточняющего поиска.
Вместе с тем в векторно-пространственной модели не предусмотрено использование логических операций в запросах, что существенно ограничивает ее применимость.
Знаете ли Вы, что в 1965 году два американца Пензиас (эмигрант из Германии) и Вильсон заявили, что они открыли излучение космоса. Через несколько лет им дали Нобелевскую премию, как-будто никто не знал работ Э. Регенера, измерившего температуру космического пространства с помощью запуска болометра в стратосферу в 1933 г.? Подробнее читайте в FAQ по эфирной физике.
