基于Wikipedia链接结构的中文概念向量生成方法和装置制造方法及图纸

本发明专利技术公开了一种基于Wikipedia链接结构的中文概念向量生成方法和装置，该方法包括：根据中文Wikipedia页面中的标题概念和/或链接概念构建链接信息库；针对链接信息库中样本是否存在链接概念分别构建训练正例和训练负例，选择一定数量训练正例和训练负例建立训练数据集；建立概念向量模型，模型包括输入层、嵌入层、概念向量运算层和输出层；采用训练数据集训练概念向量模型，并由概念向量模型中提取概念向量。

【技术实现步骤摘要】
基于Wikipedia链接结构的中文概念向量生成方法和装置
本专利技术属于自然语言处理的
，尤其是涉及一种基于Wikipedia链接结构的中文概念向量生成方法和装置。
技术介绍
Wikipedia，维基百科，是当前规模最大的百科全书，其不仅是一个规模巨大的语料库，而且还是一个包含了大量人类背景知识和语义关系的知识库，是进行自然语言处理的理想资源。词语概念的语义表示是自然语言处理领域的一个基础问题。传统的方法可分为基于共现计数(count-based)的方法和基于预测(prediction-based)的方法。前者，首先统计词语概念的共现计数，通过对共现矩阵的分解而学习词语的概念向量；后者，通过预测给定上下文环境中的共现词而学习词语的概念向量。这两种方法实质上均通过挖掘利用语料库中蕴含的词语共现信息而学习词语概念的向量表示。当前流行的word2vec词向量方法属于后者。自然语言文本中，普遍存在一词多义的问题，尤其是中文语言。然而，现有的词向量方法，通常只能从词形上对词语进行区分，而不能从本质上区分词语所对应的词义概念。对于一个词语，只能学习到一个统一的向量表示；而这个词语，可能会对应多个词义概念；显然，现在方法无法准确区分这些词义概念。综上所述，现有技术的词向量方法无法从本质上区分词义概念的问题，尚缺乏行之有效的解决方案。
技术实现思路
针对现有技术中存在的不足，解决现有技术的词向量方法无法从本质上区分词义概念的问题，本专利技术提出了一种基于Wikipedia链接结构的中文概念向量生成方法和装置，解决了Wikipedia的链接信息库的构建问题、提出了概念向量训练数据集的构建方法、并设计了概念向量的训练模型及训练方法、概念向量矩阵的返回方法。本专利技术的第一目的是提供一种基于Wikipedia链接结构的中文概念向量生成方法。为了实现上述目的，本专利技术采用如下一种技术方案：一种基于Wikipedia链接结构的中文概念向量生成方法，该方法包括：根据中文Wikipedia页面中的标题概念和/或链接概念构建链接信息库；针对链接信息库中样本是否存在链接概念分别构建训练正例和训练负例，选择一定数量训练正例和训练负例建立训练数据集；建立概念向量模型，模型包括输入层、嵌入层、概念向量运算层和输出层；采用训练数据集训练概念向量模型，并由概念向量模型中提取概念向量。作为进一步的优选方案，该方法还包括根据中文Wikipedia页面中的正文描述和类别链接信息结合标题概念和/或链接概念构建链接信息库。作为进一步的优选方案，所述构建链接信息库的具体方法为：预处理原始中文Wikipedia页面，得到处理后的有效文本数据；统计处理后的有效文本数据中的标题概念、链接概念和类别链接的出现频次，得到当前页面的标题概念、链接概念和类别链接的频次信息；根据所有页面中的标题概念及其相应的链接概念和类别链接的频次信息构建链接信息库；在整个链接信息库中，统计标题概念、链接概念和类别链接的出现总频次，得到Wikipedia语料库的标题概念、链接概念和类别链接的频次信息。作为进一步的优选方案，所述构建链接信息库前，预处理原始中文Wikipedia页面，预处理的具体步骤包括：滤除原始中文Wikipedia页面中的无效信息，保留标题概念、正文描述、链接概念及类别链接信息，得到有效文本数据；对有效文本数据进行繁简汉字转换处理。作为进一步的优选方案，在该方法中，将标题概念与其中文Wikipedia页面中所包含的链接概念或类别链接进行组合，构建训练正例；将标题概念与没有出现在其中文Wikipedia页面中的链接概念或类别链接进行组合，构建训练负例。作为进一步的优选方案，在该方法中，构建的训练正例和训练负例共同构成候选数据集，根据出现频次概率选择或随机选择策略在候选数据集中选择一定数量训练正例和训练负例，随机打乱顺序后建立训练数据集。作为进一步的优选方案，所述出现频次概率选择策略的具体方法为：根据候选数据集中的链接概念或类别链接在Wikipedia页面或Wikipedia语料库中出现的频次，计算其选中概率；根据该选中概率，从候选数据集中进行实例的选择。作为进一步的优选方案，在该方法中，建立概念向量模型的具体步骤包括：根据Wikipedia语料库的标题概念、链接概念和类别链接的频次信息进行降序排列，并根据排序编码，确定所有标题概念、链接概念和类别链接的编码；采用[-1,1]上的均匀分布建立概念向量的维度以及标题概念、链接概念和类别链接总数的二维的矩阵作为概念向量矩阵，概念向量矩阵为概念向量模型嵌入层的权重矩阵；建立包括输入层、嵌入层、概念向量运算层和输出层的概念向量模型，标题概念和链接概念作为输入层的两个输入；在嵌入层中获取输入概念样本的张量并作降维处理，在概念向量运算层中将两个输入进行运算处理得到概念向量，在输出层预测输入构成训练正例或训练负例。作为进一步的优选方案，由概念向量模型中提取嵌入层的权重参数，即为概念向量矩阵，对应各个编码概念所对应的概念向量。本专利技术的第二目的是提供一种计算机可读存储介质。为了实现上述目的，本专利技术采用如下一种技术方案：一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备设备的处理器加载并执行以下处理：根据中文Wikipedia页面中的标题概念和/或链接概念构建链接信息库；针对链接信息库中样本是否存在链接概念分别构建训练正例和训练负例，选择一定数量训练正例和训练负例建立训练数据集；建立概念向量模型，模型包括输入层、嵌入层、概念向量运算层和输出层；采用训练数据集训练概念向量模型，并由概念向量模型中提取概念向量。本专利技术的第三目的是提供一种终端设备。为了实现上述目的，本专利技术采用如下一种技术方案：一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行以下处理：根据中文Wikipedia页面中的标题概念和/或链接概念构建链接信息库；针对链接信息库中样本是否存在链接概念分别构建训练正例和训练负例，选择一定数量训练正例和训练负例建立训练数据集；建立概念向量模型，模型包括输入层、嵌入层、概念向量运算层和输出层；采用训练数据集训练概念向量模型，并由概念向量模型中提取概念向量。本专利技术的有益效果：1、本专利技术所述的一种基于Wikipedia链接结构的中文概念向量生成方法和装置，能够有效的进行中文Wikipedia语料库的预处理，提取概念及其链接关系，构建链接信息库。2、本专利技术所述的一种基于Wikipedia链接结构的中文概念向量生成方法和装置，能够完成正负例训练样本的构建和选择，生成训练数据集；以及定义并实现一套完整的概念向量训练模型，训练训练数据集，得到概念向量。3、本专利技术所述的一种基于Wikipedia链接结构的中文概念向量生成方法和装置，利用中文Wikipedia页面中的标题概念和/或链接概念最终生成概念向量，能够准确地对词语概念进行区分，克服了传统词向量方法存在的一词多义的问题，生成的概念向量的语义表示更加准确。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1为本专利技术中本文档来自技高网...

【技术保护点】
一种基于Wikipedia链接结构的中文概念向量生成方法，其特征在于，该方法包括：根据中文Wikipedia页面中的标题概念和/或链接概念构建链接信息库；针对链接信息库中样本是否存在链接概念分别构建训练正例和训练负例，选择一定数量训练正例和训练负例建立训练数据集；建立概念向量模型，模型包括输入层、嵌入层、概念向量运算层和输出层；采用训练数据集训练概念向量模型，并由概念向量模型中提取概念向量。

【技术特征摘要】
1.一种基于Wikipedia链接结构的中文概念向量生成方法，其特征在于，该方法包括：根据中文Wikipedia页面中的标题概念和/或链接概念构建链接信息库；针对链接信息库中样本是否存在链接概念分别构建训练正例和训练负例，选择一定数量训练正例和训练负例建立训练数据集；建立概念向量模型，模型包括输入层、嵌入层、概念向量运算层和输出层；采用训练数据集训练概念向量模型，并由概念向量模型中提取概念向量。2.如权利要求1所述的方法，其特征在于，该方法还包括根据中文Wikipedia页面中的正文描述和类别链接信息结合标题概念和/或链接概念构建链接信息库。3.如权利要求2所述的方法，其特征在于，所述构建链接信息库的具体方法为：预处理原始中文Wikipedia页面，得到处理后的有效文本数据；统计处理后的有效文本数据中的标题概念、链接概念和类别链接的出现频次，得到当前页面的标题概念、链接概念和类别链接的频次信息；根据所有页面中的标题概念及其相应的链接概念和类别链接的频次信息构建链接信息库；在整个链接信息库中，统计标题概念、链接概念和类别链接的出现频次，得到Wikipedia语料库的标题概念、链接概念和类别链接的频次信息。4.如权利要求3所述的方法，其特征在于，所述预处理原始中文Wikipedia页面的具体步骤包括：滤除原始中文Wikipedia页面中的无效信息，保留标题概念、正文描述、链接概念及类别链接信息，得到有效文本数据；对有效文本数据进行繁简汉字转换处理。5.如权利要求1所述的方法，其特征在于，在该方法中，将标题概念与其中文Wikipedia页面中所包含的链接概念或类别链接进行组合，构建训练正例；将标题概念与没有出现在其中文Wikipedia页面中的链接概念或类别链接进行组合，构...

【专利技术属性】
技术研发人员：鹿文鹏，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：山东,37