基于双架构的序列标注方法、装置和计算机设备制造方法及图纸

本申请揭示了一种基于双架构的序列标注方法、装置、计算机设备和存储介质，所述方法包括：获取待标注的句子，解析所述句子得到单词序列；将单词序列输入序列标注模型中的BERT架构中计算，从而得到BERT架构输出的参考序列标注，并获取BERT架构中最后一层转换单元的隐藏状态向量集合；将隐藏状态向量集合输入结构型支持向量机架构中计算，得到单词序列中的每个单词对应的标注，其中结构型支持向量机架构计算时采用的函数为

Sequential annotation method, device and computer equipment based on dual architecture

【技术实现步骤摘要】
基于双架构的序列标注方法、装置和计算机设备
本申请涉及到计算机领域，特别是涉及到一种基于双架构的序列标注方法、装置、计算机设备和存储介质。
技术介绍
序列标注是自然语言处理中一项基本且重要的问题，它包括分词，词性标注，命名实体识别，关系抽取等任务。对于序列标注常用的算法有很多，其中常用的是结构型支持向量机，其已经取得了不错的效果。使用结构型支持向量机进行序列标注具有以下优点：其优化问题是凸出优化问题，可以确保找到全局最优值，但其特征需要人工制定，这带来了很大的局限性。因此现有技术的结构型支持向量机进行序列标注的准确度有待提高。
技术实现思路
本申请的主要目的为提供一种基于双架构的序列标注方法、装置、计算机设备和存储介质，旨在改善传统方案在序列标注中的表现。为了实现上述专利技术目的，本申请提出一种基于双架构的序列标注方法，包括以下步骤：获取待标注的句子，利用预设的预处理方法解析所述句子得到单词序列，其中所述预处理方法至少包括分词处理；将所述单词序列输入已经训练完成的序列标注模型中的BERT架构中计算，从而得到BERT架构输出的参考序列标注，并获取BERT架构中最后一层转换单元的隐藏状态向量集合，其中所述序列标注模型包括BERT架构和结构型支持向量机架构，BERT架构包括多层转换单元；将所述隐藏状态向量集合输入结构型支持向量机架构中计算，得到所述单词序列中的每个单词对应的标注，其中结构型支持向量机架构计算时采用的函数为其中自变量为y，为第i个单词对应的标注值，yi为第i个单词对应的标注，wyi为第i个单词对应的参数向量，wyi与hi具有相同维度，hi为第i个单词对应的隐藏状态向量；组合每个单词对应的标注，从而获得初始序列标注；根据预设的相似度值计算方法，计算所述初始序列标注与所述参考序列标注的相似度值，并判断所述相似度值是否大于预设的相似度阈值；若所述相似度值大于预设的相似度阈值，则将所述初始序列标注作为最终序列标注。进一步地，所述获取待标注的句子，利用预设的预处理方法解析所述句子得到单词序列，其中所述预处理方法至少包括分词处理的步骤,包括：利用预设的分词工具对所述句子进行分词，得到包含多个单词的暂时序列；通过查询预设的同义词库，判断所述暂时序列中是否存在同义词组；若所述暂时序列中存在同义词组，则将所述同义词组中所有单词替换为所述同义词组中的任意一个，并将经过替换处理的暂时序列记为所述单词序列。进一步地，所述将所述单词序列输入已经训练完成的序列标注模型中的BERT架构中计算，从而得到BERT架构输出的参考序列标注，并获取BERT架构中最后一层转换单元的隐藏状态向量集合，其中所述序列标注模型包括BERT架构和结构型支持向量机架构的步骤之前，包括：获取指定数量的语料，并对所述语料进行预处理，从而得到语料单词序列；将所述语料单词序列输入预设的序列标注模型中进行训练，其中所述序列标注模型包括BERT架构和结构型支持向量机架构，BERT架构的输入为所述语料单词序列，所述结构型支持向量机架构的输入为BERT架构中最后一层转换单元的隐藏状态向量集合；获取所述结构型支持向量机架构输出的语料标注序列；将所述语料标注序列输入预设的损失函数中，从而获得优化后的所述结构型支持向量机架构的各层参数；利用所述损失函数，采用反向传播的方法优化所述BERT架构的各层参数。进一步地，所述将所述语料标注序列输入预设的损失函数中，从而获得优化后的所述结构型支持向量机架构的各层参数的步骤，包括：将所述语料标注序列输入预设的损失函数中，从而获取损失函数值，其中wy为第i个单词对应的参数向量，共有N个单词，yi为第i个单词对应的正确标注，为不正确的标注，C为惩罚因子，hi为第i个单词对应的隐藏状态向量，其中符号[]+表示0与方括号内数值之中最大者；判断所述损失函数值是否小于预设阈值；若所述损失函数值不小于预设阈值，则调整所述结构型支持向量机架构的各层参数，以使所述损失函数的取值小于预设阈值，并将调整后的所述结构型支持向量机架构的各层参数记为优化后的所述结构型支持向量机架构的各层参数。进一步地，所述利用所述损失函数，采用反向传播的方法优化所述BERT架构的各层参数的步骤,包括：采用公式:其中进行反向传播，从而优化所述BERT架构的各层参数，其中Loss为损失函数，wj为所述BERT架构的参数向量，共有N个单词，i指第i个单词，C为惩罚因子，为不正确的标注，yi为第i个单词对应的正确标注，hi为第i个单词对应的隐藏状态向量，其中符号[]+表示0与方括号内数值之中最大者。进一步地，所述BERT架构包括依次连接的多层嵌入层、多层转换单元和全连接层，所述将所述单词序列输入已经训练完成的序列标注模型中的BERT架构中计算，从而得到BERT架构输出的参考序列标注，并获取BERT架构中最后一层转换单元的隐藏状态向量集合的步骤,包括：利用所述多层嵌入层对所述单词序列进行嵌入操作，从而获得输入特征序列；将所述输入特征序列输入所述多层转换单元中进行计算，并获取最后一层转换单元的隐藏状态向量集合；将所述隐藏状态向量集合输入所述全连接层中进行计算，从而得到BERT架构输出的参考序列标注。进一步地，所述根据预设的相似度值计算方法，计算所述初始序列标注与所述参考序列标注的相似度值，并判断所述相似度值是否大于预设的相似度阈值的步骤,包括：采用公式：计算所述初始序列标注与所述参考序列标注的相似度值，其中similarity为相似度值，A为所述初始序列标注的标注频率向量，B为所述参考序列标注的标注频率向量，Ai为所述初始序列标注的第i个标注出现的次数，Bi为所述参考序列标注的第i个标注出现的次数；判断所述相似度值是否大于预设的相似度阈值。本申请提供一种基于双架构的序列标注装置，包括：句子获取单元，用于获取待标注的句子，利用预设的预处理方法解析所述句子得到单词序列，其中所述预处理方法至少包括分词处理；BERT架构计算单元，用于将所述单词序列输入已经训练完成的序列标注模型中的BERT架构中计算，从而得到BERT架构输出的参考序列标注，并获取BERT架构中最后一层转换单元的隐藏状态向量集合，其中所述序列标注模型包括BERT架构和结构型支持向量机架构，BERT架构包括多层转换单元；支持向量机架构计算单元，用于将所述隐藏状态向量集合输入结构型支持向量机架构中计算，得到所述单词序列中的每个单词对应的标注，其中结构型支持向量机架构计算时采用的函数为其中自变量为y，为第i个单词对应的标注值，yi为第i个单词对应的标注，wyi为第i个单词对应的参数向量，wyi与hi具有相同维度，hi为第i个单词对应的隐藏状态向量；初始序列标注获取单元，用于组合每个单词对应的标注，从而获得初始序列标注；相似度值计算单元，用于根据预设的相似度值计本文档来自技高网...

【技术保护点】
1.一种基于双架构的序列标注方法，其特征在于，包括：/n获取待标注的句子，利用预设的预处理方法解析所述句子得到单词序列，其中所述预处理方法至少包括分词处理；/n将所述单词序列输入已经训练完成的序列标注模型中的BERT架构中计算，从而得到BERT架构输出的参考序列标注，并获取BERT架构中最后一层转换单元的隐藏状态向量集合，其中所述序列标注模型包括BERT架构和结构型支持向量机架构，BERT架构包括多层转换单元；/n将所述隐藏状态向量集合输入结构型支持向量机架构中计算，得到所述单词序列中的每个单词对应的标注，其中结构型支持向量机架构计算时采用的函数为

【技术特征摘要】
1.一种基于双架构的序列标注方法，其特征在于，包括：
获取待标注的句子，利用预设的预处理方法解析所述句子得到单词序列，其中所述预处理方法至少包括分词处理；
将所述单词序列输入已经训练完成的序列标注模型中的BERT架构中计算，从而得到BERT架构输出的参考序列标注，并获取BERT架构中最后一层转换单元的隐藏状态向量集合，其中所述序列标注模型包括BERT架构和结构型支持向量机架构，BERT架构包括多层转换单元；
将所述隐藏状态向量集合输入结构型支持向量机架构中计算，得到所述单词序列中的每个单词对应的标注，其中结构型支持向量机架构计算时采用的函数为其中自变量为y，为第i个单词对应的标注值，yi为第i个单词对应的标注，wyi为第i个单词对应的参数向量，wyi与hi具有相同维度，hi为第i个单词对应的隐藏状态向量；
组合每个单词对应的标注，从而获得初始序列标注；
根据预设的相似度值计算方法，计算所述初始序列标注与所述参考序列标注的相似度值，并判断所述相似度值是否大于预设的相似度阈值；
若所述相似度值大于预设的相似度阈值，则将所述初始序列标注作为最终序列标注。


2.根据权利要求1所述的基于双架构的序列标注方法，其特征在于，所述获取待标注的句子，利用预设的预处理方法解析所述句子得到单词序列，其中所述预处理方法至少包括分词处理的步骤,包括：
利用预设的分词工具对所述句子进行分词，得到包含多个单词的暂时序列；
通过查询预设的同义词库，判断所述暂时序列中是否存在同义词组；
若所述暂时序列中存在同义词组，则将所述同义词组中所有单词替换为所述同义词组中的任意一个，并将经过替换处理的暂时序列记为所述单词序列。


3.根据权利要求1所述的基于双架构的序列标注方法，其特征在于，所述将所述单词序列输入已经训练完成的序列标注模型中的BERT架构中计算，从而得到BERT架构输出的参考序列标注，并获取BERT架构中最后一层转换单元的隐藏状态向量集合，其中所述序列标注模型包括BERT架构和结构型支持向量机架构的步骤之前，包括：
获取指定数量的语料，并对所述语料进行预处理，从而得到语料单词序列；
将所述语料单词序列输入预设的序列标注模型中进行训练，其中所述序列标注模型包括BERT架构和结构型支持向量机架构，BERT架构的输入为所述语料单词序列，所述结构型支持向量机架构的输入为BERT架构中最后一层转换单元的隐藏状态向量集合；
获取所述结构型支持向量机架构输出的语料标注序列；
将所述语料标注序列输入预设的损失函数中，从而获得优化后的所述结构型支持向量机架构的各层参数；
利用所述损失函数，采用反向传播的方法优化所述BERT架构的各层参数。


4.根据权利要求3所述的基于双架构的序列标注方法，其特征在于，所述将所述语料标注序列输入预设的损失函数中，从而获得优化后的所述结构型支持向量机架构的各层参数的步骤，包括：
将所述语料标注序列输入预设的损失函数中，从而获取损失函数值，其中wy为第i个单词对应的参数向量，共有N个单词，yi为第i个单词对应的正确标注，为不正确的标注，C为惩罚因子，hi为第i个单词对应的隐藏状态向量，其中符号[]+表示0与方括号内数值之中最大者；
判断所述损失函数值是否小于预设阈值；
若所述损失函数值不小于预设阈值，则调整所述结构型支持向量机架构的各层参数，以使所述损失函数的取值小于预设阈值，并将调整后的所述结构型支持向量机架构的各层参数记为优化后的所述结构型支持向量机架构的各层参数。


5.根据权利要求3所述的基于...

【专利技术属性】
技术研发人员：金戈，徐亮，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44