依存句法分析的效果虽然没有像分词、NER的效果来的好，但也有其使用价值，在日常的工作中，我们免不了要和其打交道。笔者这几天一直在想如何分析依存句法分析的结果，一个重要的方面便是其可视化和它的图分析。 我们使用的NLP工具为jieba和LTP，其中jieba用于分词，LTP用于词性标注和句法分析，需要事件下载pos.model和parser.model文件。 本文使用的示例句子为：
2018年7月26日，华为创始人任正非向5G极化码（Polar码）之父埃尔达尔教授举行颁奖仪式，表彰其对于通信领域做出的贡献。
首先，让我们来看一下没有可视化效果之前的句法分析结果。Python代码如下:
1# -*- coding: utf-8 -*- 2 3import os 4import jieba 5from pyltp import Postagger, Parser 6 7sent = '2018年7月26日，华为创始人任正非向5G极化码（Polar码）之父埃尔达尔教授举行颁奖仪式，表彰其对于通信领域做出的贡献。' 8 9jieba.add_word('Polar码') 10jieba.add_word('5G极化码') 11jieba.add_word('埃尔达尔') 12jieba.add_word('之父') 13words = list(jieba.cut(sent)) 14 15print(words) 16 17# 词性标注 18pos_model_path = os.path.join(os.path.dirname(__file__), 'data/pos.model') 19postagger = Postagger() 20postagger.load(pos_model_path) 21postags = postagger.postag(words) 22 23# 依存句法分析 24par_model_path = os.path.join(os.path.dirname(__file__), 'data/parser.model') 25parser = Parser() 26parser.load(par_model_path) 27arcs = parser.parse(words, postags) 28 29rely_id = [arc.head for arc in arcs] # 提取依存父节点id 30relation = [arc.relation for arc in arcs] # 提取依存关系 31heads = ['Root' if id == 0 else words[id-1] for id in rely_id] # 匹配依存父节点词语 32 33for i in range(len(words)): 34 print(relation[i] + '(' + words[i] + ', ' + heads[i] + ')')
输出结果如下：
1['2018', '年', '7', '月', '26', '日', '，', '华为', '创始人', '任正非', '向', '5G极化码', '（', 'Polar码', '）', '之父', '埃尔达尔', '教授', '举行', '颁奖仪式', '，', '表彰', '其', '对于', '通信', '领域', '做出', '的', '贡献', '。'] 2ATT(2018, 年) 3ATT(年, 日) 4ATT(7, 月) 5ATT(月, 日) 6ATT(26, 日) 7ADV(日, 举行) 8WP(，, 日) 9ATT(华为, 创始人) 10ATT(创始人, 任正非) 11SBV(任正非, 举行) 12ADV(向, 举行) 13ATT(5G极化码, 之父) 14WP(（, Polar码) 15COO(Polar码, 5G极化码) 16WP(）, Polar码) 17ATT(之父, 埃尔达尔) 18ATT(埃尔达尔, 教授) 19POB(教授, 向) 20HED(举行, Root) 21VOB(颁奖仪式, 举行) 22WP(，, 举行) 23COO(表彰, 举行) 24ATT(其, 贡献) 25ADV(对于, 做出) 26ATT(通信, 领域) 27POB(领域, 对于) 28ATT(做出, 贡献) 29RAD(的, 做出) 30VOB(贡献, 表彰) 31WP(。, 举行)
我们得到了该句子的依存句法分析的结果，但是其可视化效果却不好。 我们使用Graphviz工具来得到上述依存句法分析的可视化结果，代码（接上述代码）如下：
1from graphviz import Digraph 2 3g = Digraph('测试图片') 4 5g.node(name='Root') 6for word in words: 7 g.node(name=word) 8 9for i in range(len(words)): 10 if relation[i] not in ['HED']: 11 g.edge(words[i], heads[i], label=relation[i]) 12 else: 13 if heads[i] == 'Root': 14 g.edge(words[i], 'Root', label=relation[i]) 15 else: 16 g.edge(heads[i], 'Root', label=relation[i]) 17 18g.view()
得到的依存句法分析的可视化图片如下：
在这张图片中，我们有了对依存句法分析结果的直观感觉，效果也非常好，但是遗憾的是，我们并不能对上述可视化结果形成的图（Graph）进行图分析，因为Graphviz仅仅只是一个可视化工具。那么，我们该用什么样的工具来进行图分析呢？ 答案就是NetworkX。以下是笔者对于NetworkX应用于依存句法分析的可视化和图分析的展示，其中图分析展示了两个节点之间的最短路径。示例的Python代码如下：
1# 利用networkx绘制句法分析结果 2import networkx as nx 3import matplotlib.pyplot as plt 4from pylab import mpl 5 6mpl.rcParams['font.sans-serif'] = ['Arial Unicode MS'] # 指定默认字体 7 8 9G = nx.Graph() # 建立无向图G 10 11# 添加节点 12for word in words: 13 G.add_node(word) 14 15G.add_node('Root') 16 17# 添加边 18for i in range(len(words)): 19 G.add_edge(words[i], heads[i]) 20 21source = '5G极化码' 22target1 = '任正非' 23distance1 = nx.shortest_path_length(G, source=source, target=target1) 24print("'%s'与'%s'在依存句法分析图中的最短距离为: %s" % (source, target1, distance1)) 25 26target2 = '埃尔达尔' 27distance2 = nx.shortest_path_length(G, source=source, target=target2) 28print("'%s'与'%s'在依存句法分析图中的最短距离为: %s" % (source, target2, distance2)) 29 30nx.draw(G, with_labels=True) 31plt.savefig("undirected_graph.png")
得到的可视化图片如下：
输出的结果如下：
1'5G极化码'与'任正非'在依存句法分析图中的最短距离为: 6 2'5G极化码'与'埃尔达尔'在依存句法分析图中的最短距离为: 2
本次到此结束，希望这篇简短的文章能够给读者带来一些启发～
注意：不妨了解下笔者的微信公众号： Python爬虫与算法（微信号为：easy_web_scrape）， 欢迎大家关注~