【技术实现步骤摘要】
本申请实施例涉及数据检测领域，特别涉及一种图文一致性检测模型的训练和使用方法、装置、设备、介质和程序产品。
技术介绍
1、在搜索视频的时候，存在想要搜索的内容(输入的文本内容，包括标题或摘要)与搜索出的视频不匹配的问题，通常表现为视频的封面与标题出现图文不一致的情况，例如封面表示的内容是a游戏，标题表示的内容是b游戏。
2、相关技术中，通过使用相关图文一致性检测模型，将封面对应的特征与标题对应的特征融合，根据获得的融合特征判断封面与标题是否图文一致。
3、然而，这种技术获得的融合特征过于粗糙，会将相似但不相同的多种图片特征判断为同一种特征，从而得出封面与标题具备图文一致的错误结果。
技术实现思路
1、本申请提供了一种图文一致性检测模型的训练和使用方法、装置、设备、介质和程序产品，该技术方案至少包括：
2、根据本申请实施例的一个方面，提供了一种图文一致性检测模型的训练方法，该方法包括：
3、获取样本视频的样本封面和样本文本，样本文本包括视频标题...
【技术保护点】
1.一种图文一致性检测模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取所述样本封面中的n个封面图像块分别对应的图像块特征向量，包括：
3.根据权利要求2所述的方法，其特征在于，所述通过图像块抽取模型从所述样本封面中抽取出所述n个封面图像块，包括：
4.根据权利要求1至3任一所述的方法，其特征在于，所述融合所述图像块特征向量和所述文本特征向量，得到融合特征，包括：
5.根据权利要求4所述的方法，其特征在于，所述融合所述n个封面图像块中的第i个封面图像块对应的图像块特征向量与所述...
【技术特征摘要】
1.一种图文一致性检测模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取所述样本封面中的n个封面图像块分别对应的图像块特征向量，包括：
3.根据权利要求2所述的方法，其特征在于，所述通过图像块抽取模型从所述样本封面中抽取出所述n个封面图像块，包括：
4.根据权利要求1至3任一所述的方法，其特征在于，所述融合所述图像块特征向量和所述文本特征向量，得到融合特征，包括：
5.根据权利要求4所述的方法，其特征在于，所述融合所述n个封面图像块中的第i个封面图像块对应的图像块特征向量与所述文本特征向量，得到第i个融合特征，包括：
6.根据权利要求5所述的方法，其特征在于，所述采用双线性交互方式，融合所述n个封面图像块中的第i个封面图像块对应的图像块特征向量与所述文本特征向量，得到所述第i个融合特征，包括：
7.根据权利要求1至6任一所述的方法，其特征在于，所述图文一致性检测模型包括分类层，所述对所述融合特征进行分类，得到预测的分类结果，包括：
8.根据权利要求1至7任一所述的方法，其特征在于，所述图文一致性检测模型包括编码模型，所述获取所述样本文本对应的文本特征向量，包括：
9.根据权利要求8所述的方法，其特征在于，所述文本特征向量包括单词向量和句子向量；
10.一种图文一致性检测模型的使用方法，其特征在于，所述方法包括：
11.根据权利要求10所述的方法，其特征在于，所述获...
【专利技术属性】
技术研发人员：黄剑辉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。