序列标注方法、装置、计算机设备和存储介质制造方法及图纸

本发明专利技术涉及一种序列标注方法、装置、计算机设备和存储介质。通过获取待标注文本；确定所述待标注文本的字、词向量和位置向量；提取所述字、词向量和位置向量的特征信息；根据所述特征信息计算所述待标注文本中各个字之间的关联权重；计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签的概率最高者作为预测结果输出。本发明专利技术利用深度学习算法的卷积神经网络，借鉴了CV(Computer Vision，计算机视觉)领域EM算法的注意力机制，EM算法注意力机制的运算在NLP序列标注任务中降低了长文本的计算量，提高了序列标注的效率，并保证了序列标注任务的精度。

【技术实现步骤摘要】
序列标注方法、装置、计算机设备和存储介质
本专利技术涉及语音识别
，特别是涉及一种序列标注方法、装置、计算机设备和存储介质。
技术介绍
自然语言处理(NLP，NaturalLanguageProcessing)中的序列标注任务是指对于文本字词的序列标注，包括命名实体识别、词性标注、知识实体抽取等任务，通常通过监督学习算法实现。现有技术实现算法包括传统机器学习算法(CRF等)以及深度学习算法(Bi-LSTM)等，其中深度学习算法精度效果更佳。而目前前沿的深度学习算法，会在此类任务中额外加入注意力机制，以实现序列单元互相关联权重的特征信息提取。但注意力机制的运算基于矩阵运算，会在模型训练中造成较高的计算量，从而导致较高的耗时。因此，有必要对现有技术进行改进以期获得更好的用户体验。
技术实现思路
基于此，有必要针对存在的问题，提供一种活体检测中视频图片的处理方法、装置和可读存储介质，以改善现有视频活体检测的效率。一种序列标注方法，所述方法包括：获取待标注文本，确定所述待标注文本的字、词向量和位置向量；提取所述字、词向量和位置向量的特征信息；根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射；将全连接层特征矩阵与所述注意力权重矩阵相加，以计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签中的概率最高者作为标签序列预测结果输出。在其中一个实施例中，所述字、词向量的生成采用将训练语料中的语句编码为one-hot形式，并通过c-bow方法或者skip-gram方法的形式，构建为中间字词one-hot编码、中间字词特征编码、前后文字词one-hot编码；所述位置向量由公式PE(pos,2i)＝sin(pos/100002i/d)和PE(pos,2i+1)＝cos(pos/100002i/d)确认，其中，pos表示某个字的位置，i表示第i维度，d表示位置向量设定维度。在其中一个实施例中，所述提取所述字、词向量和位置向量的特征信息具体包括如下步骤：构建一层1维卷积层降低特征维度；再构建多层1维卷积层实现局部特征信息提取，其中，输入的向量维度为m*n，1维卷积核维度预设为3*n，通道数为c；卷积核沿第1维方向进行步长为1的滑动卷积，最终多层卷积层输出维度为m*c的矩阵，以得到所述待标注文本的字、词向量和位置向量的特征信息。在其中一个实施例中，所述根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射具体包括如下步骤：采用EM算法的E步对所述多层卷积层输出的维度为m*c的矩阵进行概率分布计算，包括计算m*k的注意力权重，其中，k<m，采用建立k个核心，各个字符a与核心的对应隐变量通过当前参数完成权重的估计，其中，Kernal为核函数，x为各个字符a的向量形式表征，θ表示各个核心下的分布参数；采用EM算法的M步根据E步输出的概率分布重新估算算法参数，参数由公式计算完成，其中，n为所述待标注文本的字符长度，t为EM步的迭代轮次；E步与M步再经过多次迭代收敛，以输出所述待标注文本中各个字之间的注意力权重矩阵，实现对所述待标注文本中各个字之间的关系进行注意力权重映射。在其中一个实施例中，所述将全连接层输出矩阵与所述注意力权重矩阵相加，以计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签中的概率最高者作为预测结果序列输出具体包括如下步骤：将所述字、词向量和位置向量的特征信息输入到全连接层计算，以输出全连接层特征矩阵；将所述全连接层特征矩阵与所述注意力权重矩阵相加，根据公式计算出所述待标注文本中各个字属于各标签的概率P；根据公式Z(X)＝∑yexp(∑i,kλktk(yi-1,yi,x,i)+∑i,lμlsl(yi,x,i))计算中各个字所述各标签中的概率最高者Z；其中，t和s为特征函数，λ和μ是对应的权值；将各个字所述各标签的概率最高者Z作为标注序列的预测结果输出。一种序列标注装置，包括序列标注模型，所述序列标注模型包括：嵌入层：用于获取待标注文本，并将所述待标注文本转化为向量形式，其中，向量形式包括各个字的字、词向量和位置向量；卷积层：用于提取所述嵌入层输出向量的特征信息，并根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射；CRF层：用于将全连接层特征矩阵与所述卷积层输出的注意力权重矩阵相加，计算出所述待标注文本中各个字属于各标签的概率；输出层：用于将所述CRF层中输出的所述待标注文本中各个字属于各标签的概率最高者作为标签序列预测结果输出。在其中一个实施例中，所述装置中，所述卷积层还包括特征信息转化单元与注意力权重矩阵计算单元；所述特征信息转化单元用于提取所述嵌入层输出向量的特征信息，包括：构建一层1维卷积层降低特征维度；再构建多层1维卷积层实现局部特征信息提取，其中，输入的向量维度为m*n，1维卷积核维度预设为3*n，通道数为c；卷积核沿第1维方向进行步长为1的滑动卷积，最终多层卷积层输出维度为m*c的矩阵；所述注意力权重矩阵计算单元用于根据所述向量的特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，具体包括：采用EM算法的E步对所述卷积层输出的维度为m*c的矩阵进行概率分布计算，包括计算m*k的注意力权重，其中，k<m，采用建立k个核心，各个字符a与核心的对应隐变量通过当前参数完成注意力权重的估计，其中，Kernal为核函数，x为各个字符a的向量形式表征，θ表示各个核心下的分布参数；采用EM算法的M步根据E步输出的概率分布重新估算算法参数，参数由公式计算完成，其中，n为所述待标注文本的字符长度，t为EM步的迭代轮次；E步与M步再经过多次迭代收敛，以输出所述待标注文本中各个字之间的注意力权重矩阵，实现对所述待标注文本中各个字之间的关系进行注意力权重映射。在其中一个实施例中，所述装置中，所述CRF层还包括全连接层矩阵计算单元与标签概率计算单元；所述全连接层矩阵计算单元用于接收所述字、词向量和位置向量的特征信息，并输入到全连接层计算，以输出全连接层特征矩阵；所述标签概率计算单元用于将所述全连接层特征矩阵与所述注意力权重矩阵相加，根据公式计算出所述待标注文本中各个字属于各标签的概率P；再根据公式Z(X)＝∑yexp(∑i,kλktk(yi-1,yi,x,i)+∑i,lμlsl(yi,x,i))计算中各个字所述各标签中的概率最高者Z；其中，t和s为特征函数，λ和μ是对应的权值。一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行实现如下步骤：本文档来自技高网...

【技术保护点】
1.一种序列标注方法，其特征在于，所述方法包括：/n获取待标注文本，确定所述待标注文本的字、词向量和位置向量；/n提取所述字、词向量和位置向量的特征信息；/n根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射；/n将全连接层特征矩阵与所述注意力权重矩阵相加，以计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签中的概率最高者作为标签序列预测结果输出。/n

【技术特征摘要】
1.一种序列标注方法，其特征在于，所述方法包括：
获取待标注文本，确定所述待标注文本的字、词向量和位置向量；
提取所述字、词向量和位置向量的特征信息；
根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射；
将全连接层特征矩阵与所述注意力权重矩阵相加，以计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签中的概率最高者作为标签序列预测结果输出。


2.如权利要求1所述的序列标注方法，其特征在于，所述字、词向量的生成采用将训练语料中的语句编码为one-hot形式，并通过c-bow方法或者skip-gram方法的形式，构建为中间字词one-hot编码、中间字词特征编码、前后文字词one-hot编码；
所述位置向量由公式PE(pos，2i)＝sin(pos/100002i/d)和PE(pos，2i+1)＝cos(pos/100002i/d)确认，其中，pos表示某个字的位置，i表示第i维度，d表示位置向量设定维度。


3.如权利要求1或2所述的序列标注方法，其特征在于，所述提取所述字、词向量和位置向量的特征信息具体包括如下步骤：
构建一层1维卷积层降低特征维度；
再构建多层1维卷积层实现局部特征信息提取，其中，输入的向量维度为m*n，1维卷积核维度预设为3*n，通道数为c；
卷积核沿第1维方向进行步长为1的滑动卷积，最终多层卷积层输出维度为m*c的矩阵，以得到所述待标注文本的字、词向量和位置向量的特征信息。


4.如权利要求3所述的序列标注方法，其特征在于，所述根据所述特征信息计算所述待标注文本中各个字之间的注意力权重矩阵，以对所述待标注文本中各个字之间的关系进行注意力权重映射具体包括如下步骤：
采用EM算法的E步对所述多层卷积层输出的维度为m*c的矩阵进行概率分布计算，包括计算m*k的注意力权重，其中，k<m，采用建立k个核心，各个字符a与核心的对应隐变量通过当前参数完成权重的估计，其中，Kemal为核函数，x为各个字符a的向量形式表征，θ表示各个核心下的分布参数；
采用EM算法的M步根据E步输出的概率分布重新估算算法参数，参数由公式计算完成，其中，n为所述待标注文本的字符长度，t为EM步的迭代轮次；
E步与M步再经过多次迭代收敛，以输出所述待标注文本中各个字之间的注意力权重矩阵，实现对所述待标注文本中各个字之间的关系进行注意力权重映射。


5.如权利要求4所述的序列标注方法，其特征在于，所述将全连接层输出矩阵与所述注意力权重矩阵相加，以计算所述待标注文本中各个字属于各标签的概率，并将各个字所属各标签中的概率最高者作为预测结果序列输出具体包括如下步骤：
将所述字、词向量和位置向量的特征信息输入到全连接层计算，以输出全连接层特征矩阵；
将所述全连接层特征矩阵与所述注意力权重矩阵相加，根据公式计算出所述待标注文本中各个字属于各标签的概率P；
根据公式Z(X)＝∑yexp(∑i，kλktk(yi-1，yi，x，i)+∑i，lμlsl(yi，x，i))计算中各个字所述各标签中的概率最高者Z；其中，t和s为特征函数，λ和μ是对应的权值；
将各个字所述各标签的概率最高者Z作为标注序列的预测结果输出。


6.一种序列标注装置，其特征在于，包括序列标注模型，所述序列标注模型包括：
嵌入层：用于获取待标注文本，并将所述待标注文本转化为向量形式，其中，向量形式包括各个字的字、词向量和位置向量；
卷积层：用于提取所述嵌入层输出向量的特征信息，并根据所述特征信息计算...

【专利技术属性】
技术研发人员：陈桢博，金戈，徐亮，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44