一种内容匹配方法及相关装置制造方法及图纸

本申请提供了一种内容匹配方法以及相关装置。本申请实施例可应用于机器学习技术领域。其方法包括：获取目标图像及M个文本信息；通过图像特征提取网络对目标图像进行特征提取，生成图像特征信息；通过文本特征提取网络对M个文本信息进行特征提取，生成M个文本特征信息；通过目标核函数计算图像特征信息与M个文本特征信息的相似度，得到M个图文相似度结果；根据M个图文相似度结果确定目标文本信息。本申请实施例提供的方法通过目标核函数对图像特征信息与M个文本特征信息进行对比学习，得到M个图文相似度结果，进而根据M个图文相似度结果确定目标文本信息，在更高的维度上计算多模态之间的相似度，提高了图文匹配的准确性。

【技术实现步骤摘要】

本申请涉及人工智能，尤其涉及一种内容匹配方法及相关装置。

技术介绍

1、对比学习(contrastive learning)是一种机器学习方法，用于通过比较不同数据样本之间的相似性和差异性来学习数据表示和特征提取。在多模态学习中，对比学习是一种常见的方法，具体到图像、文本的学习上，学习样本是一一配对的图像与文本对。

2、对比学习可以应用于图文检索、物体分类等多种场景。例如，在安防场景中，可以根据文字描述从搜索感兴趣的画面内容，例如输入“穿红色上衣黑色裤子带太阳眼镜的男人”，然后可以用算法在海量拍摄视频画面中搜索对应的画面，实现高效定位。又例如，在花卉识别场景中，通过将输入图片与花卉名称文本的匹配，就可以实现花卉智慧识别的功能；类似地还可以实现鸟类识别、猫狗品种识别、汽车识别应用。

3、在现有技术中，对待匹配的文本及图像分别进行特征提取后，将得到的文本特征与图像特征通过内积计算的方式进行相似度计算，而由于不同模态的信息之间存在天然的差异，直接把不同模态的信息提取成相同的特征表达难度较大，进而导致对比学习的难度较大，在图文检索或物体分类本文档来自技高网...

【技术保护点】

1.一种内容匹配方法，其特征在于，包括：

2.如权利要求1所述的内容匹配方法，其特征在于，所述调用目标核函数，通过所述目标核函数计算所述图像特征信息与所述M个文本特征信息的相似度，得到M个图文相似度结果，包括：

3.如权利要求2所述的内容匹配方法，其特征在于，所述将所述图像特征信息映射到所述目标特征空间，得到所述目标图像特征信息，包括：

4.如权利要求2所述的内容匹配方法，其特征在于，所述调用所述目标核函数对所述目标图像特征信息与所述M个目标文本特征信息进行相似度计算，得到M个图文相似度结果，包括：

5.如权利要求1所述的内容匹配方法，其特...

【技术特征摘要】

1.一种内容匹配方法，其特征在于，包括：

2.如权利要求1所述的内容匹配方法，其特征在于，所述调用目标核函数，通过所述目标核函数计算所述图像特征信息与所述m个文本特征信息的相似度，得到m个图文相似度结果，包括：

3.如权利要求2所述的内容匹配方法，其特征在于，所述将所述图像特征信息映射到所述目标特征空间，得到所述目标图像特征信息，包括：

4.如权利要求2所述的内容匹配方法，其特征在于，所述调用所述目标核函数对所述目标图像特征信息与所述m个目标文本特征信息进行相似度计算，得到m个图文相似度结果，包括：

5.如权利要求1所述的内容匹配方法，其特征在于，所述将所述目标图像作为图像特征提取网络的输入，通过所述图像特征提取网络对所述目标图像进行特征提取，生成图像特征信息，包括：

6.如权利要求5所述的内容匹配方法，其特征在于，所述将所述k个目标子图及所述k个子图位置信息作为所述图像特征提取网络中的注意力机制模块的输入，通过所述注意力机制模块对所述k个目标子图及所述k个子图位置信息进行编码，生成图像特征信息，包括：

7.如权利要求5所述的内容匹配方法，其特征在于，所述将所述目标图像作为所述图像特征提取网络中的图像切分模块的输入，通过所述图像切分模块对所述目标图像进行切分...

【专利技术属性】
技术研发人员：李德辉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：