masterspammer (masterspammer) wrote,
masterspammer
masterspammer

Category:

Тематика текста

Вчера в разговоре сформулировался лобовой подход к определению тематики текста.

1. дано - много текстов на одном языке (и желательно в одной стилистике), тематика которых заведомо определена и известна;
2. нужно - определить тематику произвольного текста на том же языке
3. предварительно - строим матрицу - по горизонтали - тематики, по вертикали - слова, на пересечении - вхождения (нормированные, что-то вроде % в тексте)
4. для определяемого текста строим линейку слов и находим столько коэффициентов коррелляции, сколько 5. выбираем тему, коэффициент которой максимален (или несколько, если их коэффициенты близки)
6. итого - тема - искомая (или темы).

Матрица, естественно разрежённая по самое нехочу.

При правильной организации (единица информации - вектор весов ОДНОГО слова для ВСЕХ тем) - для коротких текстов (поисковый запрос) получается серьёзный выигрыш за счёт уменьшения количества задействованных (считываемых) данных.

Можно дополнительно выкинуть слишком редкие слова (единицы на весь корпус текста) и слова, дисперсия которых мала, считать не совсем корреляцию, а похоже, но с учётом "важности", вычисляемой из частоты и дисперсии слова.

Аналогично можно определять стилистику текста (и отличать научную работу от застольной беседы), учитывая, однако, ещё и длину предложения, длину абзаца, количество восклицательных и вопросительных предложений и прочие метрики.
Tags: ТекстовыеАлгоритмы, ТематикаТекста, Язык
Subscribe

  • От субботы до субботы!

    Шкафчики красиво подвесил - в точности в той конфигурации, как они висели на прошлой их (не нашей!) кухне. Обнаружил небольшой уклон вбок (заметную…

  • Алдан

    Кажется, я знаю, как назвать своё "произведение" на Z80; про идею я писал несколько раз, а кратко это: 1. "системный" режим,…

  • (no subject)

    В общем, загад (вот гад!) не бывает богат. Из запланированного сделал абсолютный минимум. Эпиграфом субботы был анекдот про лягушку, ходившую по…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 0 comments