Mystem
mystem (вероятно, от англ. my stemmer) — морфологический анализатор для русского языка от компании Яндекс. Позволяет привести слова к начальной форме, узнать их грамматические характеристики и частоту встречаемости в русском тексте. В версии 1.0 также существовала возможность провести морфологический анализ и английского текста.
Программа бесплатна для некоммерческого использования. Существуют версии для Windows, Linux, FreeBSD и MacOS X.
Анализатор mystem используется в продуктах компании Яндекс, он лёг в основу анализатора для Национального корпуса русского языка[1]
Принципы работы
Программа использует словарь часто встречаемых русских слов, а для остальных предлагает гипотетическую начальную форму.
Классификация словоформ
Принципы классификации словоформ значительно отличаются от общепринятых:
- в одну парадигму включены многие глаголы совершенного и несовершенного вида, отличающиеся суффиксом (закрывать{закрывать}, закрыть{закрывать})
- времена делятся на прошедшее и непрошедшее
Источники
- ↑ «Программное обеспечение для морфологической разметки Корпуса разработано Д. В. Панкратовым, А. Е. Поляковым и В. А. Титовым на базе программ автоматического морфологического анализа русских письменных текстов Mystem (разработка компании Яндекс) и Dialing (коллектив авторов под руководством А. В. Сокирко)» (О проекте. Национальный корпус русского языка)
Ссылки
- «О программе mystem» на сайте компании Яндекс
- Segalovich I. «A fast morphological algorithm with unknown word guessing induced by a dictionary for a web search engine.», MLMTA-2003 (документ, описывающий принцип работы анализатора)
