嵌套实体识别方法、装置、计算机设备及存储介质制造方法及图纸

本申请公开一种嵌套实体识别方法、装置、计算机设备及存储介质，包括：获取待识别的目标语句；根据预设的编码规则对所述目标语句进行编码处理，生成所述目标语句的序列向量；将所述序列向量输入至预设的实体识别模型中，其中，所述实体识别模型为预先训练至收敛状态，用于识别文字信息中实体词语指针的神经网络模型；读取所述实体识别模型输出的多个实体词语指针，并基于预设的至少两个分类类别，计算各分类类别与各实体词语指针之间的置信度；根据所述置信度确定所述各分类类别对应的实体词语指针，并生成所述各分类类别的分类结果。实现了对目标语句中嵌套重复实体的“一次多类”识别，提高了识别的效率。

【技术实现步骤摘要】
嵌套实体识别方法、装置、计算机设备及存储介质
本专利技术实施例涉及文字信息处理领域，尤其是一种嵌套实体识别方法、装置、计算机设备及存储介质。
技术介绍
在互联网领域的搜索、推荐和用户画像分析等需要将嵌套实体词语识别方法作为基础模块，例如用户搜索时，搜索框对用户搜索的词汇联想，可以引导用户搜索想要搜索的商品，提高搜索效率，而词汇联想中的联想词需要基于商品库中的商品，嵌套实体的识别就可以识别出商品名称。根据用户的搜索，识别出搜索关键词，例如商品词、品牌等，可以提高搜索精排的效果。同时用户的搜索商品、点击商品、加购和下单商品登行为，可以使用嵌套实体识别方法识别出用户这些行为的偏好，用于用户画像分析。本专利技术创造的专利技术人在研究中发现，现行的嵌套实体识别存在嵌套实体问题(实体重叠问题)，如AppleiPhone11作为语句识别时会出现两个实体Apple和AppleiPhone11分别代表品牌和商品名称两个实体。而传统提取法由于每一个类别只能有一个分类类别，无法解决这类问题。
技术实现思路
本专利技术实施例提供一种能够对嵌套实体进行全局分类的嵌套实体识别方法、装置、计算机设备及存储介质。为解决上述技术问题，本专利技术创造的实施例采用的一个技术方案是：提供一种嵌套实体识别方法，包括：获取待识别的目标语句；根据预设的编码规则对所述目标语句进行编码处理，生成所述目标语句的序列向量；将所述序列向量输入至预设的实体识别模型中，其中，所述实体识别模型为预先训练至收敛状态，用于识别文字信息中实体词语的神经网络模型；读取所述实体识别模型输出的多个实体词语指针，并基于预设的至少两个分类类别，计算各分类类别与各实体词语指针之间的置信度；根据所述置信度确定所述各分类类别对应的实体词语指针，并生成所述各分类类别的分类结果。可选地，所述获取待识别的目标语句包括：采集目标用户的用户信息、商品信息和/或用户行为信息；将所述用户信息、商品信息和/或用户行为信息通过文字信息进行描述生成所述目标语句。可选地，所述序列向量包括词语向量，所述根据预设的编码规则对所述目标语句进行编码处理，生成所述目标语句的序列向量包括：根据所述目标语句，确定所述目标语句的多个语句变量；根据各语句变量生成所述目标语句对应的语句矩阵，并将所述各语句变量以二进制的方式嵌入至所述语句矩阵中，生成所述目标语句的词语向量。可选地，所述序列向量包括位置向量，所述根据预设的编码规则对所述目标语句进行编码处理，生成所述目标语句的序列向量包括：获取所述各语句变量的位置信息，其中，所述位置信息包括所述各语句变量之间的相对位置信息；根据预设的旋转式位置编码对所述位置信息进行编码，生成所述各语句变量对应的绝对位置信息，其中，所述各语句变量的绝对位置信息通过所述位置信息进行表达；基于所述绝对位置信息，生成所述目标语句的位置向量。可选地，所述读取所述实体识别模型输出的多个实体词语指针，并基于预设的至少两个分类类别，计算各分类类别与各实体词语指针之间的置信度包括：提取预设的至少两个分类类别；根据所述实体识别模型的损失函数，计算所述各分类类别与所述多个实体词语指针之间的特征距离；基于预设的sigmoid函数和所述特征距离，计算所述各分类类别与各实体词语指针之间的置信度。可选地，所述根据所述置信度确定所述各分类类别对应的实体词语指针，并生成所述各分类类别的分类结果包括：将所述各分类类别中对应置信度最大的实体词语指针，确定为对应分类类别的实体词语指针；在所述目标语句中提取与所述实体词语指针对应的实体词语；根据所述实体词语生成所述各分类类别的分类结果。可选地，所述实体识别模型还包括损失函数，所述损失函数的特征描述为：其中，所述Pα表示所述目标语句的中类型为α的实体词语指针集合，Qα表示所述目标语句非实体词语或者类型非α的实体的词语指针集合，切i≤j的组合。为解决上述技术问题，本专利技术实施例还提供一种嵌套实体识别装置，所述嵌套实体识别装置包括：获取模块，用于获取待识别的目标语句；处理模块，用于根据预设的编码规则对所述目标语句进行编码处理，生成所述目标语句的序列向量；分类模块，用于将所述序列向量输入至预设的实体识别模型中，其中，所述实体识别模型为预先训练至收敛状态，用于识别文字信息中实体词语的神经网络模型；计算模块，用于读取所述实体识别模型输出的多个实体词语指针，并基于预设的至少两个分类类别，计算各分类类别与各实体词语指针之间的置信度；执行模块，用于根据所述置信度确定所述各分类类别对应的实体词语指针，并生成所述各分类类别的分类结果。可选地，所述嵌套实体识别装置还包括：第一采集子模块，用于采集目标用户的用户信息、商品信息和/或用户行为信息；第一转换子模块，用于将所述用户信息、商品信息和/或用户行为信息通过文字信息进行描述生成所述目标语句。可选地，所述序列向量包括词语向量，所述嵌套实体识别装置还包括：第一确认子模块，用于根据所述目标语句，确定所述目标语句的多个语句变量；第一生成子模块，用于根据各语句变量生成所述目标语句对应的语句矩阵，并将所述各语句变量以二进制的方式嵌入至所述语句矩阵中，生成所述目标语句的词语向量。可选地，所述序列向量包括位置向量，所述嵌套实体识别装置还包括：第一获取子模块，用于获取所述各语句变量的位置信息，其中，所述位置信息包括所述各语句变量之间的相对位置信息；第二生成子模块，用于根据预设的旋转式位置编码对所述位置信息进行编码，生成所述各语句变量对应的绝对位置信息，其中，所述各语句变量的绝对位置信息通过所述位置信息进行表达；第一执行子模块，用于基于所述绝对位置信息，生成所述目标语句的位置向量。可选地，所述嵌套实体识别装置还包括：第一提取子模块，用于提取预设的至少两个分类类别；第二计算子模块，用于根据所述实体识别模型的损失函数，计算所述各分类类别与所述多个实体词语指针之间的特征距离；第二执行子模块，用于基于预设的sigmoid函数和所述特征距离，计算所述各分类类别与各实体词语指针之间的置信度。可选地，所述嵌套实体识别装置还包括：第二确认子模块，用于将所述各分类类别中对应置信度最大的实体词语指针，确定为对应分类类别的实体词语指针；第二提取子模块，用于在所述目标语句中提取与所述实体词语指针对应的实体词语；第三执行子模块，用于根据所述实体词语生成所述各分类类别的分类结果。可选地，所述实体识别模型还包括损失函数，所述损失函数的特征描述为：其中，所述Pα表示所述目标语句的中类型为α的实体词语指针集合，Qα表示所述目标语句非实体词语或者类型非α的实体的词语指针集合，切i≤j的组合。为解决上述技术问题本专利技术实施例还提供本文档来自技高网...

【技术保护点】
1.一种嵌套实体识别方法，其特征在于，包括：/n获取待识别的目标语句；/n根据预设的编码规则对所述目标语句进行编码处理，生成所述目标语句的序列向量；/n将所述序列向量输入至预设的实体识别模型中，其中，所述实体识别模型为预先训练至收敛状态，用于识别文字信息中实体词语指针的神经网络模型；/n读取所述实体识别模型输出的多个实体词语指针，并基于预设的至少两个分类类别，计算各分类类别与各实体词语指针之间的置信度；/n根据所述置信度确定所述各分类类别对应的实体词语指针，并生成所述各分类类别的分类结果。/n

【技术特征摘要】
1.一种嵌套实体识别方法，其特征在于，包括：
获取待识别的目标语句；
根据预设的编码规则对所述目标语句进行编码处理，生成所述目标语句的序列向量；
将所述序列向量输入至预设的实体识别模型中，其中，所述实体识别模型为预先训练至收敛状态，用于识别文字信息中实体词语指针的神经网络模型；
读取所述实体识别模型输出的多个实体词语指针，并基于预设的至少两个分类类别，计算各分类类别与各实体词语指针之间的置信度；
根据所述置信度确定所述各分类类别对应的实体词语指针，并生成所述各分类类别的分类结果。


2.根据权利要求1所述的嵌套实体识别方法，其特征在于，所述获取待识别的目标语句包括：
采集目标用户的用户信息、商品信息和/或用户行为信息；
将所述用户信息、商品信息和/或用户行为信息通过文字信息进行描述生成所述目标语句。


3.根据权利要求1所述的嵌套实体识别方法，其特征在于，所述序列向量包括词语向量，所述根据预设的编码规则对所述目标语句进行编码处理，生成所述目标语句的序列向量包括：
根据所述目标语句，确定所述目标语句的多个语句变量；
根据各语句变量生成所述目标语句对应的语句矩阵，并将所述各语句变量以二进制的方式嵌入至所述语句矩阵中，生成所述目标语句的词语向量。


4.根据权利要求3所述的嵌套实体识别方法，其特征在于，所述序列向量包括位置向量，所述根据预设的编码规则对所述目标语句进行编码处理，生成所述目标语句的序列向量包括：
获取所述各语句变量的位置信息，其中，所述位置信息包括所述各语句变量之间的相对位置信息；
根据预设的旋转式位置编码对所述位置信息进行编码，生成所述各语句变量对应的绝对位置信息，其中，所述各语句变量的绝对位置信息通过所述位置信息进行表达；
基于所述绝对位置信息，生成所述目标语句的位置向量。


5.根据权利要求1所述的嵌套实体识别方法，其特征在于，所述读取所述实体识别模型输出的多个实体词语指针，并基于预设的至少两个分类类别，计算各分类类别与各实体词语指针之间的置信度包括：
提取预设的至少两个分类类别；
根据所述实体识别模型的损失...

【专利技术属性】
技术研发人员：王锋，郭东波，叶朝鹏，石志伟，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：广东;44