Знакомство с NLP |
263 |
ЗНАКОМСТВО С NLP
Обработка естественного языка (NLP) исследует методы формализации и опи сания взаимодействий между компьютером и человеческими (естественными) языками. Это обширное направление предполагает использование алгоритмов математической лингвистики и технологий человеко-машинного взаимодействия для обработки сложных неструктурированных данных. NLP может использо ваться в различных областях, например:
zz Анализ содержания текста. Выявление тем в хранилище текстов и класси фикация документов в соответствии с обнаруженными темами.
zz Анализ эмоциональной окраски текста. Классификация текста в соответ ствии с содержащимися в нем положительными или отрицательными настроениями.
zz Машинный перевод. Перевод текста с одного человеческого языка на другой. zz Синтез речи. Преобразование текста в устную речь.
zz Субъективная интерпретация. Разумная интерпретация вопроса и способ ность ответить на него, используя доступную информацию.
zz Распознавание сущностей. Идентификация в тексте сущностей (таких, как человек, место или вещь).
zzВыявление фейковых новостей. Определение фейковых новостей исходя из их содержания.
Начнем с рассмотрения некоторых терминов, используемых в NLP.
Терминология NLP
NLP — это комплексная область знаний. Иногда в литературе, посвященной определенной сфере, для обозначения одного и того же явления используются разные термины. Рассмотрим некоторые базовые термины, связанные с NLP. Начнем с одного из основных видов NLP — нормализации, обычно выполняемой со входными данными.
Нормализация
Нормализация выполняется на входных текстовых данных, чтобы повысить их качество для обучения модели МО. Нормализация обычно включает в себя следующие этапы обработки:
264 |
Глава 9. Алгоритмы обработки естественного языка |
zz преобразование всего текста в верхний или нижний регистр; zz удаление знаков препинания;
zzудаление чисел.
Как правило, перечисленные операции обязательны, однако фактические этапы обработки зависят от имеющейся задачи и меняются от случая к случаю. На пример, если числа в тексте важны для контекста задачи, то их не потребуется удалять в процессе нормализации.
Корпус
Группа входных документов, которые мы используем для решения задачи, на зывается корпусом. Корпус выступает в качестве входных данных для задачи NLP.
Токенизация
При работе с NLP первоочередная задача состоит в том, чтобы разделить текст на список токенов. Этот процесс называется токенизацией. Степень детализации полученных токенов будет варьироваться в зависимости от цели. Например, токен может состоять из следующих элементов:
zz одно слово;
zz сочетание слов; zz предложение; zz абзац.
Распознавание именованных сущностей
В NLP часто возникает необходимость идентифицировать определенные слова и цифры в неструктурированных данных на принадлежность к заранее заданным категориям. Это могут быть номера телефонов, почтовые индексы, имена, места или страны. Так происходит упорядочивание неструктурированных данных. Этот процесс называется распознаванием именованных сущностей (named entity recognition, NER).
Стоп-слова
В результате токенизации мы получаем список всех слов, которые используют ся в тексте. Некоторые из них являются служебными частями речи, не несущи
Знакомство с NLP |
265 |
ми смысловой нагрузки: они есть в каждом документе. Эти слова не вносят никакой ценной информации в текст, в котором фигурируют. Они называются стоп-словами и обычно удаляются на этапе обработки данных. Некоторые при меры стоп-слов: «был», «они», «этот».
Анализ эмоциональной окраски текста
Анализ эмоциональной окраски текста (sentimental analysis), иначе называемый
анализом тональности или анализом мнений (opinion mining), — это процесс извлечения положительных или отрицательных эмоций из текста.
Стемминг и лемматизация
В текстовых данных большинство слов, скорее всего, будет повторяться в не скольких разных формах. Сведение каждого слова к его корню или основе на зывается стеммингом. Стемминг используется для объединения близких по значению слов, чтобы уменьшить их общее количество для анализа. По сути, он уменьшает общую обусловленность задачи.
Например, {use, used, using, uses} => use.
Наиболее распространенным алгоритмом стемминга для английского языка служит алгоритм Портера.
Стемминг — это грубый процесс, который может привести к потере окончаний слов. Это может стать причиной ошибочного написания. Во многих случаях каждое слово служит просто идентификатором уровня в пространстве задачи, и ошибки не имеют значения. Если требуется правильное написание слов, то вместо стемминга следует использовать лемматизацию.
Алгоритмы не обладают разумом. Для человеческого мозга выявление похожих слов не представляет труда. Алгоритму же для ориентира необходимы критерии группировки.
Существуют три основных способа реализации NLP разной степени сложности:
zz мешок слов (Bag-of-words, BoW);
zz традиционные классификаторы NLP; zz глубокое обучение для NLP.