查询方法、模型训练方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供一种查询方法、模型训练方法、装置、设备及存储介质。在查询方法中，处理查询请求时，根据待查询对象的多模态描述特征进行交互操作，得到交互特征。基于待查询对象的交互特征和待匹配对象的交互特征，计算待查询对象和待匹配对象的匹配度，并根据该匹配度，从待匹配对象中确定与待查询对象匹配的目标对象。在这种实施方式中，采用多个模态的描述特征，并对多个模态的描述特征进行交互操作，可使得不同模态的描述特征及其之间的交互关系共同作用于对象识别的过程，进而实现对单个模态的特征具有的歧义进行降低或者消除，有利于有效地提升对象识别的准确性。

【技术实现步骤摘要】
查询方法、模型训练方法、装置、设备及存储介质
本申请涉及互联网
，尤其涉及一种查询方法、模型训练方法、装置、设备及存储介质。
技术介绍
在对象识别领域中，存在一种基于对象的文本查询描述信息进行对象识别的方法。但是，在一些场景下，当文本存在歧义时，将导致无法准确地根据文本查询描述信息识别对象。例如，在一些场景下，用户采用具有歧义的文本对发布的违禁内容进行伪装，该具有歧义的文本不易被识别为违禁内容。又例如，在另一些场景下，用户采用具有歧义的文本搜索商品时，该具有歧义的文本导致返回的商品搜索结果与用户的目标想要搜索的商品不一致。因此，有待提出一种新的解决方案。
技术实现思路
本申请的多个方面提供一种查询方法、模型训练方法、装置、设备及存储介质，用以有利于有效地提升对象识别的准确性。本申请实施例提供一种查询方法，包括：响应查询请求，获取待查询对象的多模态描述特征；对所述待查询对象的多模态描述特征执行特征交互操作，得到第一交互特征；根据所述第一交互特征和至少一个待匹配对象各自的交互特征，计算所述待查询对象和所述至本文档来自技高网...

【技术保护点】
1.一种查询方法，其特征在于，包括：/n响应查询请求，获取待查询对象的多模态描述特征；/n对所述待查询对象的多模态描述特征执行特征交互操作，得到第一交互特征；/n根据所述第一交互特征和至少一个待匹配对象各自的交互特征，计算所述待查询对象和所述至少一个待匹配对象的匹配度；/n根据所述匹配度，从所述至少一个待匹配对象中，确定与所述待查询对象适配的目标对象。/n

【技术特征摘要】
1.一种查询方法，其特征在于，包括：
响应查询请求，获取待查询对象的多模态描述特征；
对所述待查询对象的多模态描述特征执行特征交互操作，得到第一交互特征；
根据所述第一交互特征和至少一个待匹配对象各自的交互特征，计算所述待查询对象和所述至少一个待匹配对象的匹配度；
根据所述匹配度，从所述至少一个待匹配对象中，确定与所述待查询对象适配的目标对象。


2.根据权利要求1所述的方法，其特征在于，响应查询请求，获取待查询对象的多模态描述特征，包括：
响应所述查询请求，获取用户提供的第一查询描述信息；
向所述用户提供与所述第一查询描述信息存在相互作用关系的至少一种其他描述信息；
响应所述用户从至少一种其他描述信息的选择操作，获取被选择的描述信息作为第二查询描述信息；
从所述第一查询描述信息和所述第二查询描述信息中，分别获取第一模态的描述特征和第二模态的描述特征，作为所述待查询对象的多模态描述特征。


3.根据权利要求2所述的方法，其特征在于，还包括：
从多模态知识图谱中，获取所述第一查询描述信息适配的多个待匹配对象；
从所述多个待匹配对象各自对应的多模态表示信息中，选择与所述第一查询描述信息属于不同模态的其他表示信息，作为所述至少一种其他描述信息。


4.根据权利要求2所述的方法，其特征在于，所述第一查询描述信息包括：文本描述信息；所述第二查询描述信息包括：图像描述信息。


5.根据权利要求1所述的方法，其特征在于，对所述待查询对象的多模态描述特征执行特征交互操作，得到第一交互特征，包括：
在查询链接模型的第一交互层，基于注意力机制，对所述待查询对象的多模态描述特征进行自交互处理，得到所述待查询对象的多模态描述特征各自的自交互特征向量；
对所述待查询对象的多模态描述特征各自的自交互特征向量进行融合，得到所述第一交互特征。


6.根据权利要求5所述的方法，其特征在于，基于注意力机制，对所述待查询对象的多模态描述特征进行自交互处理，得到所述待查询对象的多模态描述特征各自的自交互特征向量，包括：
针对所述待查询对象的多模态描述特征中的任一模态的描述特征，计算所述描述特征和所述待查询对象的多模态描述特征中的各个特征的相似度，得到所述描述特征对应的多个自交互权值；
根据所述多个自交互权值，对所述待查询对象的多模态描述特征进行加权计算，得到所述描述特征的自交互向量。


7.根据权利要求1所述的方法，其特征在于，还包括：
针对所述至少一个待匹配对象中的任一待匹配对象，对所述待匹配对象的多模态表示特征执行特征交互操作，得到所述待匹配对象的交互特征，作为第二交互特征。


8.根据权利要求7所述的方法，其特征在于，根据第一交互特征和至少一个待匹配对象各自的交互特征，计算所述待查询对象和所述至少一个待匹配对象的匹配度，包括：
在查询链接模型中，对所述第一交互特征和所述第二交互特征执行特征交互操作，得到第三交互特征；
在所述查询链接模型的打分层，根据所述打分层的参数，对所述第三交互特征进行打分，得到所述待查询对象和所述待匹配对象的匹配度。


9.根据权利要求8所述的方法，其特征在于，对所述第一交互特征和所述第二交互特征执行特征交互操作，得到第三交互特征，包括：
在所述查询链接模型中的第二交互层，基于注意力机制，对所述第一交互特征和所述第二交互特征执行双向交互处理，得到所述待查询对象的双向交互特征向量和所述待匹配对象的双向交互特征向量；
对所述待查询对象的双向交互特征向量和所述待匹配对象的双向交互特征向量进行融合，得到所述第三交互特征。


10.根据权利要求9所述的方法，其特征在于，所述第一交互特征包含与所述待查询对象的多模态描述特征对应的多个特征向量，所述第二交互特征包含与所述待匹配对象的多模态表示特征对应的多个特征向量；
基于注意力机制，对所述第一交互特征和所述第二交互特征执行双向交互处理，得到所述待查询对象的双向交互特征向量，包括：
针对所述第一交互特征中的任一特征向量，计算所述特征向量和所述第二交互特征中的多个特征向量的相似度，得到多个双向交互权值；
根据所述多个双向交互权值，对所述第二交互特征中的多个特征向量进...

【专利技术属性】
技术研发人员：黄龙涛，张东杰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY