序列标注方法、系统和计算机设备技术方案

本发明专利技术实施例提供了一种序列标注方法，所述方法包括：接收目标文本序列，并将所述目标文本序列转换为相应的句子向量、各个字的字向量和各个字的位置向量；将目标文本序列的句子向量、各个字的字向量和各个字的位置向量输入到训练后的BERT模型中，通过BERT模型输出与目标文本序列对应的第一标注序列；将第一标注序列输入到全连接层，通过全连接层输出第二标注序列；将第二标注序列作为条件随机场CRF模型的输入序列，以通过CRF模型输出标签序列Y＝(y

Sequence annotation method, system and computer equipment

【技术实现步骤摘要】
序列标注方法、系统和计算机设备
本专利技术实施例涉及序列标注领域，尤其涉及一种序列标注方法、系统、计算机设备及计算机可读存储介质。
技术介绍
在所有的自然语言处理应用中，命名实体识别是最基本也是应用最广泛的一种。它是指识别文中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。命名实体识别这一应用是后续的其他应用如信息提取、问答系统、句法分析、机器翻译、面向semanticweb的元数据标注等应用领域的重要基础工具。通过对命名实体识别这一工具的应用，可以构建一种自然语言模型，这种语言模型可以像人类那样理解、分析并回答自然语言的结果。但是现有模型往往无法考虑长远的上下文信息，从而使得识别的准确率受到限制的技术问题。因此，如何解决现有模型无法考虑长远的上下文信息关系的问题，从而进一步提高序列标注的识别准确率，成为了当前要解决的技术问题之一。
技术实现思路
有鉴于此，有必要提供一种序列标注方法、系统、计算机设备及计算机可读存储介质，以解决现有模型无法考虑长远的上下文信息关系，从而使得序列标注的识别准确率受到限制等技术问题。为实现上述目的，本专利技术实施例提供了序列标注方法，所述方法步骤包括：接收目标文本序列，并将所述目标文本序列转换为相应的句子向量、各个字的字向量和各个字的位置向量；将所述目标文本序列的句子向量、各个字的字向量和各个字的位置向量输入到训练后的BERT模型中，通过所述BERT模型输出与所述目标文本序列对应的第一标注序列，其中，所述第一标注序列包括多个第一n维向量，每个第一n维向量对应所述目标文本序列中的一个字，所述第一n维向量表示对应字的属于n个第一标签中各个第一标签的第一概率；将所述第一标注序列输入到全连接层，通过所述全连接层输出第二标注序列，其中，所述第二标注序列包括多个第二n维向量，每个第二n维向量对应所述目标文本序列中的一个字，所述第二n维向量表示对应字的属于n个第二标签中各个第二标签的第二概率；将所述第二标注序列作为条件随机场CRF模型的输入序列，以通过CRF模型输出标签序列Y＝(y1,y2,...,ym)；及根据所述标签序列生成命名实体序列，并输出所述命名实体序列。示例性的，将所述目标文本序列转换为相应的句子向量、各个字的字向量和各个字的位置向量的步骤，包括：将所述目标文本序列输入到嵌入层，通过所述嵌入层输出与所述目标文本序列对应的多个字向量，所述多个字向量中包括至少一个标点向量；将所述多个字向量输入到分割层，根据所述至少一个标点向量对所述多个字向量进行分割，得到n个字向量集合，所述n个字向量集合对应n个分割码；通过位置编码对每个分割码进行编码运算，确定每个分割码的位置信息编码，以得到所述目标文本序列中每个字的位置向量；及根据所述目标文本序列中每个字的字向量以及所述每个字的位置向量，生成所述目标文本序列的句子向量。示例性的，所述通过所述BERT模型输出与所述目标文本序列对应的第一标注序列的步骤，包括：通过所述BERT模型对所述目标文本序列的句子向量、各个字的字向量和各个字的位置向量进行特征提取，以得到所述目标文本序列中每个字的各个第一标签的第一概率；根据所述目标文本序列中每个字的各个第一标签的第一概率，生成第一标注序列。示例性的，所述将所述第一标注序列输入到全连接层，通过所述全连接层输出第二标注序列的步骤，包括：将所述第一标注序列输入到全连接层的神经网络结构中，进行额外特征提取，以得到所述目标文本序列中每个字的各个第二标签的第二概率，对于所述目标文本序列中第i个字的额外特征提取的运算公式为Bi＝wXi+b，其中，Xi是所述第一标注序列中第i个字的各个第一标签的第一概率，w与b是BERT模型学习参数；根据所述目标文本序列中每个字的各个标签的第二概率，生成第二标注序列。示例性的，所述将所述第二将标注序列作为条件随机场CRF模型的输入序列，以通过CRF模型输出标签序列Y＝(y1,y2,...,ym)的步骤，包括：将所述第二标注序列输入到CRF模型中；通过维特比算法对所述第二标注序列进行维特比求解，以得到所述第二标注序列中的最优求解路径，其中，所述最优求解路径即为所述标签序列为整条目标文本序列的最高概率序列；根据所述最优求解路径生成标签序列。为实现上述目的，本专利技术实施例还提供了一种序列标注系统，包括：接收文本模块，用于接收目标文本序列，并将所述目标文本序列转换为相应的句子向量、各个字的字向量和各个字的位置向量；第一标注模块，用于将所述目标文本序列的句子向量、各个字的字向量和各个字的位置向量输入到训练后的BERT模型中，通过所述BERT模型输出与所述目标文本序列对应的第一标注序列，其中，所述第一标注序列包括多个第一n维向量，每个第一n维向量对应所述目标文本序列中的一个字，所述第一n维向量表示对应字的属于n个第一标签中各个第一标签的第一概率；第二标注模块，用于将所述第一标注序列输入到全连接层，通过所述全连接层输出第二标注序列，其中，所述第二标注序列包括多个第二n维向量，每个第二n维向量对应所述目标文本序列中的一个字，所述第二n维向量表示对应字的属于n个第二标签中各个第二标签的第二概率；输出标签模块，用于将所述第二标注序列作为条件随机场CRF模型的输入序列，以通过CRF模型输出标签序列Y＝(y1,y2,...,ym)；及输出实体模块，用于根据所述标签序列生成命名实体序列，并输出所述命名实体序列。示例性的，所述接收文本模块还用于：将所述目标文本序列输入到嵌入层，通过所述嵌入层输出与所述目标文本序列对应的多个字向量，所述多个字向量中包括至少一个标点向量；将所述多个字向量输入到分割层，根据所述至少一个标点向量对所述多个字向量进行分割，得到n个字向量集合，所述n个字向量集合对应n个分割码；及通过位置编码对每个分割码进行编码运算，确定每个分割码的位置信息编码，以得到所述目标文本序列中每个字的位置向量；根据所述目标文本序列中每个字的字向量以及所述每个字的位置向量，生成所述目标文本序列的句子向量。示例性的，所述第一标注模块还用于：通过所述BERT模型对所述目标文本序列的句子向量、各个字的字向量和各个字的位置向量进行特征提取，以得到所述目标文本序列中每个字的各个第一标签的第一概率；根据所述目标文本序列中每个字的各个第一标签的第一概率，生成第一标注序列。为实现上述目的，本专利技术实施例还提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现如上述的序列标注方法的步骤。为实现上述目的，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上述的序列标注方法的步骤。本文档来自技高网...

【技术保护点】
1.一种序列标注方法，其特征在于，所述方法包括：/n接收目标文本序列，并将所述目标文本序列转换为相应的句子向量、各个字的字向量和各个字的位置向量；/n将所述目标文本序列的句子向量、各个字的字向量和各个字的位置向量输入到训练后的BERT模型中，通过所述BERT模型输出与所述目标文本序列对应的第一标注序列，其中，所述第一标注序列包括多个第一n维向量，每个第一n维向量对应所述目标文本序列中的一个字，所述第一n维向量表示对应字属于n个第一标签中各个第一标签的第一概率；/n将所述第一标注序列输入到全连接层，通过所述全连接层输出第二标注序列，其中，所述第二标注序列包括多个第二n维向量，每个第二n维向量对应所述目标文本序列中的一个字，所述第二n维向量表示对应字的属于n个第二标签中各个第二标签的第二概率；/n将所述第二标注序列作为条件随机场CRF模型的输入序列，以通过CRF模型输出标签序列Y＝(y

【技术特征摘要】
1.一种序列标注方法，其特征在于，所述方法包括：
接收目标文本序列，并将所述目标文本序列转换为相应的句子向量、各个字的字向量和各个字的位置向量；
将所述目标文本序列的句子向量、各个字的字向量和各个字的位置向量输入到训练后的BERT模型中，通过所述BERT模型输出与所述目标文本序列对应的第一标注序列，其中，所述第一标注序列包括多个第一n维向量，每个第一n维向量对应所述目标文本序列中的一个字，所述第一n维向量表示对应字属于n个第一标签中各个第一标签的第一概率；
将所述第一标注序列输入到全连接层，通过所述全连接层输出第二标注序列，其中，所述第二标注序列包括多个第二n维向量，每个第二n维向量对应所述目标文本序列中的一个字，所述第二n维向量表示对应字的属于n个第二标签中各个第二标签的第二概率；
将所述第二标注序列作为条件随机场CRF模型的输入序列，以通过CRF模型输出标签序列Y＝(y1,y2,...,ym)；及
根据所述标签序列生成命名实体序列，并输出所述命名实体序列。


2.如权利要求1所述的序列标注方法，其特征在于，将所述目标文本序列转换为相应的句子向量、各个字的字向量和各个字的位置向量的步骤，包括：
将所述目标文本序列输入到嵌入层，通过所述嵌入层输出与所述目标文本序列对应的多个字向量，所述多个字向量中包括至少一个标点向量；
将所述多个字向量输入到分割层，根据所述至少一个标点向量对所述多个字向量进行分割，得到n个字向量集合，所述n个字向量集合对应n个分割码；
通过位置编码对每个分割码进行编码运算，确定每个分割码的位置信息编码，以得到所述目标文本序列中每个字的位置向量；及
根据所述目标文本序列中每个字的字向量以及所述每个字的位置向量，生成所述目标文本序列的句子向量。


3.如权利要求2所述的序列标注方法，其特征在于，所述通过所述BERT模型输出与所述目标文本序列对应的第一标注序列的步骤，包括：
通过所述BERT模型对所述目标文本序列的句子向量、各个字的字向量和各个字的位置向量进行特征提取，以得到所述目标文本序列中每个字的各个第一标签的第一概率；
根据所述目标文本序列中每个字的各个第一标签的第一概率，生成第一标注序列。


4.如权利要求3所述的序列标注方法，其特征在于，所述将所述第一标注序列输入到全连接层，通过所述全连接层输出第二标注序列的步骤，包括：
将所述第一标注序列输入到全连接层的神经网络结构中，进行额外特征提取，以得到所述目标文本序列中每个字的各个第二标签的第二概率，对于所述目标文本序列中第i个字的额外特征提取的运算公式为Bi＝wXi+b，其中，Xi是所述第一标注序列中第i个字的各个第一标签的第一概率，w与b是BERT模型学习参数；
根据所述目标文本序列中每个字的各个第二标签的第二概率，生成第二标注序列。


5.如权利要求1所述的序列标注方法，其特征在于，所述将所述第二将标注序列作为条件随机场CRF模型的输入序列，以通过CRF模型输出标签序列Y＝(y1,y2,......

【专利技术属性】
技术研发人员：金戈，徐亮，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44