Поиск в сетевой среде может стать более эффективным за счет технологийглубинного анализа текстов(Text Mining), нахождения в текстах аномалий и трендов.
Разработанные на основе статистического и лингвистического анализа, а
также методов искусственного интеллекта, технологии Text Mining предназначены для проведения смыслового
анализа. Задача Text Mining - выбирать из
текстов наиболее ключевую и значимую информацию для пользователей [75,
32].Важная компонента
технологий Text Mining связана с извлечением из
текста характерных элементов или признаков, которые могут использоваться в
качестве ключевых слов, метаданных, аннотаций. Еще одна задача Text Mining – отнесение документов к некоторым категориям
из заданной схемы их систематизации. Кроме того, Text Mining - это новый вид поиска, который в отличие
традиционных подходов не только находит списки документов, формально
релевантных запросам, но и помогает в понимании смысла текстов. Таким
образом, пользователю будет незачем самому "просеивать" огромное
количество неструктурированной информации. Text Mining - это алгоритмическое выявление прежде не
известных связейв уже
имеющихсяданных. Применяя
Text Mining, пользователи могут получать новую
ценную информацию - знания.
Следует
заметить, что технологии глубинного анализа текста исторически
предшествовала технология добычи данных (Data Mining), методология и подходы которой широко
используются и в методах Text Mining. Для
глубинного анализа текстов вполне справедливо определение, данное для Data Mining Г. Пятецким-Шапиро из GTE Labs:
"Процесс обнаружения в сырых данных ранее неизвестных нетривиальных
практически полезных и доступных интерпретации знаний, необходимых для
принятия решений в различных сферах человеческой деятельности" [122].
Оформившись
в середине 90-х годов ХХ века как направление анализа неструктурированных
текстов, технологии Text Mining сразу же взяла
на вооружение методы Data Mining, такие как
классификация или кластеризация. В Text Mining
появились и дополнительные возможности, такие как автоматическое
реферирование текстов и выявление феноменов - понятий и фактов.
Возможности современных систем Text Mining могут
применяться при управлении знаниями для выявления шаблонов в текстах, для
автоматического "проталкивания" или распределения информации по
интересующим пользователей профилям, создания обзоров.
Знаете ли Вы, что в 1965 году два американца Пензиас (эмигрант из Германии) и Вильсон заявили, что они открыли излучение космоса. Через несколько лет им дали Нобелевскую премию, как-будто никто не знал работ Э. Регенера, измерившего температуру космического пространства с помощью запуска болометра в стратосферу в 1933 г.? Подробнее читайте в FAQ по эфирной физике.
