Списки      47

Расширение функциональности с помощью списковых включений

В главе 1 вы видели пример создания списка с помощью списковых включений. В этом разделе мы используем их для оптимизации алгоритма извлечения именных групп. Расширение функциональности решения часто требует значительного улучшения существующего кода. Однако в данном случае улучшения будут довольно компактными, поскольку речь идет о списковых включениях.

Взглянув на дерево синтаксических зависимостей, показанное на рис. 2.2, видим, что от каждого элемента фразы проведена синтаксическая дуга непосредственно к существительному structure. Однако именная группа может также строиться по другой схеме, когда слова внутри нее не связаны прямой синтаксической связью. Рисунок 2.3 иллюстрирует, как может выглядеть дерево зависимостей такой фразы. Обратите внимание, что наречие most является дочерним для прилагательного useful, а не существительного type, однако оно все еще является частью именной группы, в котором слово type является вершиной.

det

Рис. 2.3. Дерево синтаксических зависимостей для более сложной именной группы

Улучшим скрипт из предыдущего раздела, чтобы он также мог извлекать именные группы из таких предложений, как то, что показано на рис. 2.3, где некоторые слова не связаны с существительным группы напрямую. Чтобы доработать алгоритм, сначала сравним деревья синтаксических зависимостей, изображенные на рис. 2.2 и 2.3, и найдем то, что их объединяет. Важное сходство заключается в том, что в обоих деревьях вершина для каждого зависимого слова в именной группе находится справа. Однако так бывает не всегда. Например, в предложении «List is a ubiquitous data structure in the Python programming language»1 слово structure является вершиной именной группы, но его собственная вершина — глагол is —

1«Список — это распространенная структура данных в языке программирования Python». — Примеч. пер.

48      Глава 2. Структуры данных Python

находится слева. Чтобы убедиться в этом, можно запустить следующий скрипт, который выведет вершину для каждого слова в предложении:

txt = 'List is a ubiquitous data structure in the Python programming language.' import spacy

nlp = spacy.load('en') doc = nlp(txt)

for t in doc:

print(t.text, t.head.text)

Наш новый алгоритм должен проходить по тексту в поисках слов, вершины для которых находятся справа, — вероятный признак того, что это именная группа. Идея в том, чтобы создать своего рода матрицу для предложения, показывающую, находится ли вершина для каждого конкретного слова справа. Для удобства чтения можно добавлять в матрицу слова, вершины для которых находятся справа, в том же виде, в каком они представлены в предложении, а все остальные слова заменять нулями. Тогда для предложения

List is arguably the most useful type in the Python programming language.

получим следующую матрицу:

['List', 0, 0, 'the', 'most', 'useful', 0, 0, 'the', 'Python', 'programming', 0, 0]

Такую матрицу можно создать с помощью списковых включений:

txt = 'List is arguably the most useful type in the Python programming language.'

import spacy

nlp = spacy.load('en') doc = nlp(txt)

head_lefts = [t.text if t in t.head.lefts else 0 for t in doc] print(head_lefts)

В этом фрагменте кода мы перебираем слова предложения в цикле внутри спискового включения, заменяя нулями те слова, вершины для которых не находятся справа .

Полученный список будет выглядеть так:

['List', 0, 0, 'the', 'most', 'useful', 0, 0, 'the', 'Python', 'programming', 0, 0]

Списки      51

Теперь можно включить новый код в решение из предыдущего раздела. Собрав все воедино, получим такой скрипт:

txt = 'List is arguably the most useful type in the Python programming language.'

import spacy

nlp = spacy.load('en') doc = nlp(txt)

stk = []

for w in doc:

head_lefts = [1 if t in t.head.lefts else 0 for t in doc[w.i:]] i0 = 0

try: i0 = head_lefts.index(0) except ValueError: pass

i1 = 0

if i0 > 0:

noun = [1 if t.pos_== 'NOUN' or t.pos_== 'PROPN' else 0 for t in reversed(doc[w.i:w.i+i0 +1])]

try: i1 = noun.index(1)+1 except ValueError: pass

if w.pos_ == 'NOUN' or w.pos_ == 'PROPN':stk.append(w.text)

elif (i1 > 0):

stk.append(w.text) elif stk:

chunk = '' while stk:

chunk = stk.pop() + ' ' + chunk print(chunk.strip())

Мы проходим по лексемам в предложении , создавая список head_lefts на каждой итерации . Напомню, что этот список представляет собой матрицу, содержащую нули для тех слов в предложении, синтаксическая вершина которых находится слева от них. Эти матрицы используются для определения именных групп. Из каждой найденной группы мы отправляем в стек существительное или имя собственное , а также любое другое слово, которое относится к этой группе, но не является существительным . Когда мы доходим до конца группы, мы извлекаем лексемы из стека, формируя фразу .

Скрипт выведет следующий результат:

List

the most useful type

the Python programming language