本申请涉及一种商品命名实体识别方法及其装置、设备、介质、产品，所述方法包括：采用实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息；采用实体识别模型中的概率回归网络根据编码网络生成的图像特征信息和文本特征信息确定图文匹配概率；采用实体识别模型中的融合网络构造图文综合信息，使图文综合信息包含文本特征信息与图像关键信息的融合结果，图像关键信息为图像特征信息与图文匹配概率的乘积；采用实体识别模型中的条件随机场网络根据图文综合信息识别出命名实体。通过引入图文匹配概率，丰富命名实体预测所需的参考信息，可以提升命名实体识别的准确度。本申请可以提升商品命名实体识别的准确度。命名实体识别的准确度。命名实体识别的准确度。
【技术实现步骤摘要】
商品命名实体识别方法及其装置、设备、介质、产品
[0001]本申请涉及电商信息技术，尤其涉及一种商品命名实体识别方法及其装置、设备、介质、产品。
技术介绍
[0002]命名实体识别是自然语言处理
中的一项基础任务，在电商领域的搜索、推荐和用户画像分析等都起着重要作用。例如用户搜索时，搜索框对用户搜索的词汇联想，可以引导用户搜索想要搜索的商品词，提高搜索效率，而词汇联想中的联想词，通常便是基于商品库中的商品信息通过命名实体识别出的商品词。除用于词汇联想外，还可以将命名实体用于搜索推荐场景中，以及用于商品画像等，可见命名实体在电商场景的应用途径是多种多样的。
[0003]商品的实体识别可以被当作序列标注问题来解决，但这种方法只用到了文本的信息，忽略了商品图片的信息。而多模态命名实体识别在传统的命名实体识别基础上额外引入了图像，可以为文本补充语义信息来进行消歧。传统的多模态命名实体识别技术仍然存在着两个问题：
[0004]1、当前大部分方法基于注意力机制来进行文本和图像间的特征交互，但由于不同模态的表示来自于不同的编码器，想要捕捉文本中特征和图像区域之间的关系是困难的。如果文本和图像的表示并不一致，在计算其彼此间的相似度时，有些词可能会和其它区域有着较高的相似度得分。因此，表示的不一致会导致模态之间难以建立起较好的关系。
[0005]2、当前的方法默认文本与其随附的图像在意思表达上是匹配的，并且图像可以帮助识别文本中的命名实体。事实上，并不是所有的文本和图像都是匹配的，如果模型依赖这种不匹配的图像，便会受图像的误导，会做出错误的预测。
[0006]由此可见，基于多个模态的信息进行命名实体的识别相关的技术，由于图像与文本之间可能存在所表达的意思不匹配的可能，而常导致不能准确识别出命名实体，需要进行技术改进。
技术实现思路
[0007]本申请的目的在于解决上述问题而提供一种商品命名实体识别方法及其相应的装置、设备、非易失性可读存储介质，以及计算机程序产品。
[0008]根据本申请的一个方面，提供一种商品命名实体识别方法，包括如下步骤：
[0009]采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息；
[0010]采用所述实体识别模型中的概率回归网络根据所述编码网络生成的图像特征信息和所述文本特征信息确定所述商品图像与所述描述文本之间的图文匹配概率；
[0011]采用所述实体识别模型中的融合网络构造图文综合信息，使所述图文综合信息包含所述文本特征信息与图像关键信息的融合结果，所述图像关键信息为所述图像特征信息
与所述图文匹配概率的乘积；
[0012]采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体。
[0013]可选的，采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息，包括：
[0014]获取商品信息中的商品图像和描述文本，所述商品图像为商品的默认展示图片，所述描述文本包括所述商品的商品标题；
[0015]采用所述编码网络中的图像编码器提取所述商品图像的深层语义信息，获得图像特征表示；
[0016]采用所述编码网络中的文本编码器提取所述描述文本的深层语义信息，获得文本特征信息；
[0017]采用所述编码网络中的注意力层从所述图像特征表示中查询出与所述文本特征信息相关联的特征信息，获得图像特征信息。
[0018]可选的，采用所述编码网络中的注意力层从所述图像特征表示中查询出与所述文本特征信息相关联的特征信息，获得图像特征信息，包括：
[0019]将所述文本特征信息作为查询向量，将所述图像特征表示作为值向量和键向量，输入所述注意力层；
[0020]由所述注意力层利用所述查询向量从键向量中查询出其中的关键特征向量；
[0021]由所述注意力层将所述关键特征向量归一化为权重向量；
[0022]将所述值向量匹配所述权重向量获得图像特征信息。
[0023]可选的，采用所述实体识别模型中的融合网络构造图文综合信息，包括：
[0024]采用所述融合网络中的线性层计算所述图像特征信息与所述图文匹配概率的乘积，获得图像关键信息；
[0025]采用所述融合网络中的门控层将所述文本特征信息与所述图像关键信息进行特征融合，获得融合特征信息，并计算所述融合特征信息与所述图像关键信息的元素积，获得图文优选信息；
[0026]采用所述融合网络中的拼接层将所述图文优选信息与所述文本特征信息拼接为图文综合信息。
[0027]可选的，采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息之前，包括：
[0028]获取数据集，所述数据集中包括多个商品相对应的商品信息，每个商品信息包括同一商品的商品图像和描述文本，以及存在于所述描述文本中的多个命名实体；
[0029]将所述编码网络与所述概率回归网络构建为图文匹配识别模型，采用所述数据集中同一商品的商品图像和描述文本构造正样本，不同商品的商品图像和描述文本构造负样本，对所述图文匹配识别模型实施训练至收敛，使其适于根据商品图像和描述文本获得将两者预测为正样本的图文匹配概率；
[0030]以所述数据集中每个商品的商品信息中的商品图像和描述文本作为所述实体识别模型的训练样本，以所述商品信息中相对应的命名实体作为监督标签，在固化所述概率回归网络的权重的条件下对所述实体识别模型实施训练至收敛。
[0031]可选的，采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体之后，包括：
[0032]将识别出的命名实体作为据以获得该命名实体的商品信息相对应的商品的商品标签；
[0033]响应于用户搜索指令，获得用户关键词；
[0034]根据所述用户关键词与所述商品标签的匹配关系，获得携带与所述用户关键词相匹配的商品标签的商品信息列表；
[0035]将所述商品信息列表推送给所述的用户。
[0036]可选的，采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体之后，包括：
[0037]将识别出的命名实体作为商品关键词库中的关键词；
[0038]响应于用户搜索指令，获得用户关键词；
[0039]从所述商品关键词库中查询出与所述用户关键词相匹配的关键词，根据匹配出的关键词重构所述用户关键词，获得重定向文本；
[0040]根据重定向文本执行商品搜索，获得相应的商品信息列表推送给所述的用户。
[0041]根据本申请的另一方面，提供一种商品命名实体识别装置，包括：
[0042]特征提取模块，设置为采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息；
[0043]概率获取模块，设置为采用所述实体识别模型中的概率本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种商品命名实体识别方法，其特征在于，包括：采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息；采用所述实体识别模型中的概率回归网络根据所述编码网络生成的图像特征信息和所述文本特征信息确定所述商品图像与所述描述文本之间的图文匹配概率；采用所述实体识别模型中的融合网络构造图文综合信息，使所述图文综合信息包含所述文本特征信息与图像关键信息的融合结果，所述图像关键信息为所述图像特征信息与所述图文匹配概率的乘积；采用所述实体识别模型中的条件随机场网络根据所述图文综合信息识别出命名实体。2.根据权利要求1所述的商品命名实体识别方法，其特征在于，采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的文本特征信息，包括：获取商品信息中的商品图像和描述文本，所述商品图像为商品的默认展示图片，所述描述文本包括所述商品的商品标题；采用所述编码网络中的图像编码器提取所述商品图像的深层语义信息，获得图像特征表示；采用所述编码网络中的文本编码器提取所述描述文本的深层语义信息，获得文本特征信息；采用所述编码网络中的注意力层从所述图像特征表示中查询出与所述文本特征信息相关联的特征信息，获得图像特征信息。3.根据权利要求2所述的商品命名实体识别方法，其特征在于，采用所述编码网络中的注意力层从所述图像特征表示中查询出与所述文本特征信息相关联的特征信息，获得图像特征信息，包括：将所述文本特征信息作为查询向量，将所述图像特征表示作为值向量和键向量，输入所述注意力层；由所述注意力层利用所述查询向量从键向量中查询出其中的关键特征向量；由所述注意力层将所述关键特征向量归一化为权重向量；将所述值向量匹配所述权重向量获得图像特征信息。4.根据权利要求1所述的商品命名实体识别方法，其特征在于，采用所述实体识别模型中的融合网络构造图文综合信息，包括：采用所述融合网络中的线性层计算所述图像特征信息与所述图文匹配概率的乘积，获得图像关键信息；采用所述融合网络中的门控层将所述文本特征信息与所述图像关键信息进行特征融合，获得融合特征信息，并计算所述融合特征信息与所述图像关键信息的元素积，获得图文优选信息；采用所述融合网络中的拼接层将所述图文优选信息与所述文本特征信息拼接为图文综合信息。5.根据权利要求1至4中任意一项所述的商品命名实体识别方法，其特征在于，采用预设的实体识别模型中的编码网络提取商品信息中商品图像的图像特征信息和描述文本的
文本特征信息之前，包括：获取数据集，所述数据集中包括多个商品相对应的商品信息，每个商品信息包括同一商品的商品图像和描述文本，以及存在于所述描述文本中的多个命名实体；将所述编...
【专利技术属性】
技术研发人员：王锋，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。