Алгоритм Леска и система Babelfy для дизамбигуации

Алгоритм Леска и система Babelfy для дизамбигуации


Авторы
Гаджиев А. А., Хмелёв А. К.
Аффилиация
Московский государственный областной университет
Выпуск
36
Страницы
54-77

Дизамбигуация является актуальным направлением исследований в сфере теоретической, прикладной и компьютерной лингвистики. В настоящее время задача качественного снятия лексической многозначности не решена, тем не менее, существует ряд подходов к дизамбигуации. В статье описан эксперимент по анализу работы систем разрешения лексической многозначности – алгоритма Леска и системы Babelfy. Системы, выбранные для работы, основаны на разных подходах к дизамбигуации. Алгоритм Леска работает на пакете библиотек и программ NLTK, Babelfy - на основе семантической сети Babelnet. Тестирование проводилось с использованием собранной выборки предложений, содержащих многозначные слова, фразовые глаголы, омонимы, другие неоднозначные лексические единицы. В ходе исследования проводился анализ качества работы систем, для каждой из них представлен коэффициент эффективности. В соответствии с проведенным статистическим анализом ошибок можно сделать вывод о недостаточно высоком качестве работы систем снятия многозначности. В заключении описаны возможные причины ошибок систем дизамбигуации и предложено решение по их улучшению.

PDF версия

Гаджиев АА., Хмелёв А. К. Алгоритм леска и система babelfy для дизамбигуации // Вопросы прикладной лингвистики. № 36. С. 54-77. https://doi.org/10.25076/vpl.36.03

Эта статья доступна по Creative Commons Attribution 4.0 International License.