一种模型训练方法、装置、实现文本处理的方法及装置制造方法及图纸

一种模型训练方法、装置、实现文本处理的方法及装置，包括：将样本文本根据依存关系信息表示为样本依存关系编码；以样本文本包含的词语的特征向量为节点，将样本文本表示为样本矩阵；将样本矩阵及其邻接矩阵，通过初始化运行参数的图神经网络模型进行训练，获得样本依存关系编码中的依存词向量和从属词向量；以正样本和配置的负样本为图神经网络模型的输入，利用反向传播方法进行训练，确定图神经网络模型的运行参数矩阵；根据确定运行参数矩阵的图神经网络模型，对输入的待处理文本进行处理。本发明专利技术实施例在对文本进行处理的模型中加入依存关系信息，提升了文本内容的特征表示效率。

A model training method, device, method and device for text processing

【技术实现步骤摘要】
一种模型训练方法、装置、实现文本处理的方法及装置
本文涉及但不限于信息处理技术，尤指一种模型训练方法、装置、实现文本处理的方法及装置。
技术介绍
自然语言处理中最重要的一步是将文本表示为一个特征向量，通过特征向量进行文本相似度、分类等任务；文本的特征向量由文本包含词语的语义转换获得，而自然语言是由语法组织成，通过特征向量进行文本分析会丢失一部分语法中的信息；一些文本分析模型会加入词语的位置信息来表达词语间关系，但仍然会丢失词语间的相互关系。如何更为有效的对文本内容进行表示，成为一个有待解决的问题。
技术实现思路
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。本专利技术实施例提供一种模型训练方法、装置、实现文本处理的方法及装置，能够提升文本内容的特征表示效率。本专利技术实施例提供了一种模型训练方法，包括：将样本文本根据依存关系信息表示为预设格式的样本依存关系编码；以样本文本包含的词语的特征向量为节点，将样本文本表示为样本矩阵；将样本矩阵及其邻接矩阵，通过初始化运行参数的图神经网络模型进行训练，获得样本依存关系编码中的依存词向量和从属词向量；以正样本和按照预设策略配置的负样本为图神经网络模型的输入，利用反向传播方法进行训练，确定图神经网络模型的运行参数矩阵；根据确定的运行参数矩阵，获得用于对待处理文本进行文本特征处理的模型；其中，所述样本依存关系编码包括：由依存词向量、用于标识依存关系及类别的对角矩阵及从属词向量构建的编码；所述正样本包括：包含所述样本文本词语间的依存关系信息的样本；所述负样本包括：对所述正样本按预设策略进行编辑获得的样本。在一种示例性实施例中，所述样本依存关系编码的表达式为：其中，所述是基于支配词编码的所述支配词向量，所述ed是基于从属词编码的所述从属词向量。在一种示例性实施例中，所述确定图神经网络模型的运行参数包括：基于预设的交叉熵损失函数，确定所述图神经网络模型的运行参数；其中，所述交叉熵损失函数包括：基于初始化对角矩阵后确定的样本依存关系编码构建的函数。在一种示例性实施例中，所述交叉熵损失函数包括：其中，所述ω表示所述负样本的个数，所述|E|为所述样本文本中依存关系的个数；所述y为信号函数，所述图神经网络输入为所述正样本时取值为1，所述图神经网络输入为所述负样本时取值为0；l(·)为激活函数。在一种示例性实施例中，所述图神经网络模型包含：输入层、一层或一层以上隐藏层和输出层；其中，所述输入层接收的输入包括：H(0)＝X；所述隐藏层的处理函数包括：H(l+1)＝σ(AH(l)W(l))；所述输出层的输出包括：HL＝Z；其中，所述X为所述样本矩阵；所述A为所述样本矩阵的邻接矩阵；所述H(l)为在上一层隐藏层的处理结果，所述l为0时，所述H(l)为第一矩阵；所述σ(·)为激活函数；所述W(l)为所述运行参数矩阵；所述Z为输出矩阵。另一方面，本专利技术实施例还提供一种实现文本处理的方法，包括：将样本文本根据依存关系信息表示为预设格式的样本依存关系编码；以样本文本包含的词语的特征向量为节点，将样本文本表示为样本矩阵；将样本矩阵及其邻接矩阵，通过初始化运行参数的图神经网络模型进行训练，获得样本依存关系编码中的依存词向量和从属词向量；以正样本和按照预设策略配置的负样本为图神经网络模型的输入，利用反向传播方法进行训练，确定图神经网络模型的运行参数矩阵；根据确定运行参数矩阵的图神经网络模型，对输入的待处理文本进行处理；其中，所述样本依存关系编码包括：由依存词向量、用于标识依存关系及类别的对角矩阵及从属词向量构建的编码；所述正样本包括：包含所述样本文本词语间的依存关系信息的样本；所述负样本包括：对所述正样本按预设策略进行编辑获得的样本。再一方面，本专利技术实施例还提供一种模型训练装置，包括：编码单元、矩阵单元、向量训练单元、参数训练单元及模型单元；其中，编码单元用于：将样本文本根据依存关系信息表示为预设格式的样本依存关系编码；矩阵单元用于：以样本文本包含的词语的特征向量为节点，将样本文本表示为样本矩阵；向量训练单元用于：将样本矩阵及其邻接矩阵，通过初始化运行参数的图神经网络模型进行训练，获得样本依存关系编码中的依存词向量和从属词向量；参数训练单元用于：以正样本和按照预设策略配置的负样本为图神经网络模型的输入，利用反向传播方法进行训练，确定图神经网络模型的运行参数矩阵；模型单元用于：根据确定的运行参数矩阵，获得用于对待处理文本进行文本特征处理的模型；其中，所述样本依存关系编码包括：由依存词向量、用于标识依存关系及类别的对角矩阵及从属词向量构建的编码；所述正样本包括：包含所述样本文本词语间的依存关系信息的样本；所述负样本包括：对所述正样本按预设策略进行编辑获得的样本。在一种示例性实施例中，所述样本依存关系编码的表达式为：其中，所述是基于支配词编码的所述支配词向量，所述ed是基于从属词编码的所述从属词向量。在一种示例性实施例中，所述参数训练单元用于确定图神经网络模型的运行参数包括：基于预设的交叉熵损失函数，确定所述图神经网络模型的运行参数；其中，所述交叉熵损失函数包括：基于初始化对角矩阵后确定的样本依存关系编码构建的函数。还一方面，本专利技术实施例还提供一种实现文本处理的装置，包括：编码单元、矩阵单元、向量训练单元、参数训练单元及处理单元；其中，编码单元用于：将样本文本根据依存关系信息表示为预设格式的样本依存关系编码；矩阵单元用于：以样本文本包含的词语的特征向量为节点，将样本文本表示为样本矩阵；向量训练单元用于：将样本矩阵及其邻接矩阵，通过初始化运行参数的图神经网络模型进行训练，获得样本依存关系编码中的依存词向量和从属词向量；参数训练单元用于：以正样本和按照预设策略配置的负样本为图神经网络模型的输入，利用反向传播方法进行训练，确定图神经网络模型的运行参数矩阵；处理单元用于：根据确定运行参数矩阵的图神经网络模型，对输入的待处理文本进行处理；其中，所述样本依存关系编码包括：由依存词向量、用于标识依存关系及类别的对角矩阵及从属词向量构建的编码；所述正样本包括：包含所述样本文本词语间的依存关系信息的样本；所述负样本包括：对所述正样本按预设策略进行编辑获得的样本。与相关技术相比，本申请技术方案包括：将样本文本根据依存关系信息表示为预设格式的样本依存关系编码；以样本文本包含的词语的特征向量为节点，将样本文本表示为样本矩阵；将样本矩阵及其邻接矩阵，通过初始化运行参数的图神经网络模型进行训练，获得样本依存关系编码中的依存词向量和从属词向量；以正样本和按照预设策略配置的负样本为图神经网络模型的输入，利用反向传播方法进行训练，确定图神经网络模型的本文档来自技高网...

【技术保护点】
1.一种模型训练方法，包括：/n将样本文本根据依存关系信息表示为预设格式的样本依存关系编码；/n以样本文本包含的词语的特征向量为节点，将样本文本表示为样本矩阵；/n将样本矩阵及其邻接矩阵，通过初始化运行参数的图神经网络模型进行训练，获得样本依存关系编码中的依存词向量和从属词向量；/n以正样本和按照预设策略配置的负样本为图神经网络模型的输入，利用反向传播方法进行训练，确定图神经网络模型的运行参数矩阵；/n根据确定的运行参数矩阵，获得用于对待处理文本进行文本特征处理的模型；/n其中，所述样本依存关系编码包括：由依存词向量、用于标识依存关系及类别的对角矩阵及从属词向量构建的编码；所述正样本包括：包含所述样本文本词语间的依存关系信息的样本；所述负样本包括：对所述正样本按预设策略进行编辑获得的样本。/n

【技术特征摘要】
1.一种模型训练方法，包括：
将样本文本根据依存关系信息表示为预设格式的样本依存关系编码；
以样本文本包含的词语的特征向量为节点，将样本文本表示为样本矩阵；
将样本矩阵及其邻接矩阵，通过初始化运行参数的图神经网络模型进行训练，获得样本依存关系编码中的依存词向量和从属词向量；
以正样本和按照预设策略配置的负样本为图神经网络模型的输入，利用反向传播方法进行训练，确定图神经网络模型的运行参数矩阵；
根据确定的运行参数矩阵，获得用于对待处理文本进行文本特征处理的模型；
其中，所述样本依存关系编码包括：由依存词向量、用于标识依存关系及类别的对角矩阵及从属词向量构建的编码；所述正样本包括：包含所述样本文本词语间的依存关系信息的样本；所述负样本包括：对所述正样本按预设策略进行编辑获得的样本。


2.根据权利要求1所述的模型训练方法，其特征在于，所述样本依存关系编码的表达式为：



其中，所述是基于支配词编码的所述支配词向量，所述ed是基于从属词编码的所述从属词向量。


3.根据权利要求2所述的模型训练方法，其特征在于，所述确定图神经网络模型的运行参数包括：
基于预设的交叉熵损失函数，确定所述图神经网络模型的运行参数；
其中，所述交叉熵损失函数包括：基于初始化对角矩阵后确定的样本依存关系编码构建的函数。


4.根据权利要求3所述的模型训练方法，其特征在于，所述交叉熵损失函数包括：



其中，所述ω表示所述负样本的个数，所述|E|为所述样本文本中依存关系的个数；所述y为信号函数，所述图神经网络输入为所述正样本时取值为1，所述图神经网络输入为所述负样本时取值为0；l(·)为激活函数。


5.根据权利要求1～4任一项所述的模型训练方法，其特征在于，所述图神经网络模型包含：输入层、一层或一层以上隐藏层和输出层；其中，
所述输入层接收的输入包括：H(0)＝X；
所述隐藏层的处理函数包括：H(l+1)＝σ(AH(l)W(l))；
所述输出层的输出包括：HL＝Z；
其中，所述X为所述样本矩阵；所述A为所述样本矩阵的邻接矩阵；所述H(l)为在上一层隐藏层的处理结果，所述l为0时，所述H(l)为第一矩阵；所述σ()为激活函数；所述W(l)为所述运行参数矩阵；所述Z为输出矩阵。


6.一种实现文本处理的方法，包括：
将样本文本根据依存关系信息表示为预设格式的样本依存关系编码；
以样本文本包含的词语的特征向量为节点，将样本文本表示为样本矩阵；
将样本矩阵及其邻接矩阵，通过初始化运行参数的图神经网络模型进行训练，获得样本依存关系编码中的依存词向量和从属词向量；
以正样本和按照预设策略配置的负样本为图神经网络模型的输入，利用反向传播方法进行训练，确定图神经网络模型的运行参数矩阵；
根据确定运行参数矩阵的图神经...

【专利技术属性】
技术研发人员：李嘉琛，付骁弈，陈栋，姜旭，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京;11