一种图文匹配的方法和装置制造方法及图纸

本申请属于数据处理技术领域，主要涉及人工智能中的图像语义理解技术，公开了一种图文匹配的方法和装置，本申请公开的一种图文匹配的方法包括，获取待配图文本的标签信息，基于待配图文本和标签信息，获得目标文本特征向量，并获取各图像对应的图像特征向量，以及根据各图像特征向量与目标文本特征向量之间的相关度，为待配图文本筛选出匹配图像，这样，基于标签信息，将文本信息集中化，提高了图文匹配的正确率。

【技术实现步骤摘要】
一种图文匹配的方法和装置
本申请涉及数据处理
，尤其涉及一种图文匹配的方法和装置。
技术介绍
随着信息技术的快速发展以及网络的全球化，用户对多媒体的需求越来越高。例如，用户在新闻平台阅读新闻，更希望阅读图文并茂的新闻，而不仅仅是纯文本的新闻；或者用户在互动问答平台搜索问题时，更愿意选择具有配图的问答查看。因此，为了提高阅读量，更好地为用户服务，这些应用平台在发布文本信息时，通常会为其配置图片，这使得图文匹配成为技术人员重要研究方向之一。在图文匹配任务中，图片与文本的相关度通常是核心工作，现有技术中，通常将图片和文本转化至同一维度空间，以确定图片和文本之间的相关度，并根据两者的相关度，确定文本的匹配图片。但是，由于图片和文本为不同模态的数据，因此，确定出的匹配图片通常与文本之间的相关性较差，图文匹配的正确率较低，不利于配图文本的推广。
技术实现思路
本申请实施例提供一种图文匹配的方法和装置，用以在进行图文匹配时，提高图文匹配的正确率。一方面，提供一种图文匹配的方法，包括：>获取待配图文本的标本文档来自技高网...

【技术保护点】
1.一种图文匹配的方法，其特征在于，包括：/n获取待配图文本的标签信息；/n对所述待配图文本和所述标签信息进行特征提取，获得目标文本特征向量；/n分别获得候选图像集合中的各图像对应的图像特征向量；/n分别获得每一图像对应的图像特征向量和所述目标文本特征向量之间的相关度；/n根据各图像对应的相关度，从各图像中为所述待配图文本筛选出至少一个匹配图像。/n

【技术特征摘要】
1.一种图文匹配的方法，其特征在于，包括：
获取待配图文本的标签信息；
对所述待配图文本和所述标签信息进行特征提取，获得目标文本特征向量；
分别获得候选图像集合中的各图像对应的图像特征向量；
分别获得每一图像对应的图像特征向量和所述目标文本特征向量之间的相关度；
根据各图像对应的相关度，从各图像中为所述待配图文本筛选出至少一个匹配图像。


2.如权利要求1所述的方法，其特征在于，基于图像特征网络，分别获得候选图像集合中的各图像对应的图像特征向量，所述图像特征网络包括图像特征提取模块和图像全连接模块，其中：
采用所述图像特征提取模块，分别提取每一图像集合中包含的每一图像对应的初始图像特征向量，所述图像特征提取模块是基于深度学习网络构建的；
采用所述图像全连接模块，分别对每一图像对应的初始图像特征向量进行全连接处理，获得图像特征向量。


3.如权利要求2所述的方法，其特征在于，基于第一文本特征网络，对所述待配图文本和所述标签信息进行特征提取，获得目标文本特征向量，所述第一文本特征网络包括第一文本特征提取模块、第一拼接模块和第一全连接模块，其中：
将所述待配图文本和所述标签信息，输入至第一文本特征提取模块，获得所述第一文本特征提取模块输出的所述待配图文本对应的第一文本特征向量，以及所述标签信息对应的第二文本特征向量，所述第一文本特征提取模块是基于注意力机制或门循环单元构建的；
采用所述第一拼接模块，将所述第一文本特征向量和所述第二文本特征向量进行拼接，生成第三文本特征向量；
采用所述第一全连接模块，对所述第三文本特征向量进行全连接处理，获得所述目标文本特征向量。


4.如权利要求2所述的方法，其特征在于，基于第二文本特征网络，对所述待配图文本和所述标签信息进行特征提取，获得目标文本特征向量，所述第二文本特征网络包括第二拼接模块和第二文本特征提取模块，其中：
采用所述第二拼接模块，将所述待配图文本和所述标签信息进行拼接，生成目标文本信息；
采用所述第二文本特征提取模块，对所述目标文本信息进行特征提取，获得目标文本特征向量；所述第二文本特征提取模块是根据双向编解码技术获得的。


5.如权利要求3或4所述的方法，其特征在于，基于第一相似度确定网络，分别获得每一图像对应的图像特征向量和所述目标文本特征向量之间的相关度，其中：
分别将各个图像特征向量和所述目标文本特征向量输入所述相似度确定网络，并将所述相似度确定模块输出的所述目标文本特征向量分别与每一图像特征向量之间的相似度，确定为每一图像对应的图像特征向量和所述目标文本特征向量之间的相关度。


6.如权利要求3或4所述的方法，其特征在于，基于第二相关度确定网络，分别获得每一图像对应的图像特征向量和所述目标文本特征向量之间的相关度，所述第二相关度确定网络包括相关度合并模块、相关度全连接模块和二分类模块，其中：
采用所述相关度合并模块，分别将每一图像对应的图像特征向量和所述目标文本特征向量进行合并处理，获得相应的合并向量，所述相关度合并模块是基于注意力机制获得的；
采用所述相关度全连接模块，分别对每一合并向量进行全连接处理，获得相应的全连接向量；
采用所述二分类模块，分别对每一全连接向量进行二分类处理，获得...

【专利技术属性】
技术研发人员：杨皓，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44