Классификация текстов, Text Categorization, TC
-
есть распределение текстовых документов по заранее определенным категориям (в противоположность кластеризации, где множество категорий заранее неизвестно).
Методы классификации текстов лежат на стыке двух областей - машинного обучения (machine learning, ML) и информационного поиска (information retrieval, IR) [33, 134].
Соответственно автоматическая классификация может осуществляться:
- на основе заранее заданной схемы классификации и уже имеющегося множества классифицированных документов;
- полностью автоматизировано.
При применении подходов машинного обучения, классификационное правило строится на основе тренировочной коллекции текстов (обучение на примерах).
Задача классификации текстов заключается в определении принадлежности текста, который рассматривается, одному или нескольким классам. Классификация может определяться общей тематикой текстов, наличием определенных дескрипторов или выполнением определенных условий, иногда довольно сложных.
Для каждого класса эксперты отбирают текстовые массивы (наборы типичных документов), которые используются системой классификации в режиме обучения. После того как обучение закончено, система с помощью специальных алгоритмов сможет распределять входные потоки текстовой информации по классам.
Классификацию можно рассматривать как задачу распознавания образов, при таком подходе для каждого объекта выделяются наборы признаков. В случае текстов признаками являются слова и взаимозависимые наборы слов - термы, которые содержатся в текстах. Для формирования набора признаков для каждого документа используются лингвистические и статистические методы. Признаки группируются в специальную таблицу - информационную матрицу. Каждая строка матрицы соответствует одному из классов, каждый элемент строки – одному из признаков; численное значение этого элемента определяется в процессе обучения системы классификации. Когда обучение завершается, принадлежность нового текста к одному из классов устанавливается путем анализа признаков этого текста с учетом соответствующих весовых значений. Существующие алгоритмы позволяют проводить классификацию с довольно высокой точностью, однако результаты достигаются за счет больших размеров информационной матрицы, которая определяется общим числом дескрипторов - термов.
Автоматическая классификация может применяться в таких процедурах информационного поиска :
- фильтрация (избирательный отбор) информации;
- формирование тематических каталогов;
- поиск по классам;
- реализация обратной связи по релевантности путем классификации результатов поиска и выбора пользователем релевантных классов;
- расширение запросов за счет термов, которые характеризуют тематику класса;
- снятие омонимии (т.е. учет тех случаев, когда одно и то же слово может иметь разный смысл);
Знаете ли Вы, что только в 1990-х доплеровские измерения радиотелескопами показали скорость Маринова для CMB (космического микроволнового излучения), которую он открыл в 1974. Естественно, о Маринове никто не хотел вспоминать. Подробнее читайте в FAQ по эфирной физике.
