【技术实现步骤摘要】
本申请涉及人工智能,尤其涉及一种数据处理方法、装置、设备、计算机可读存储介质及计算机程序产品。
技术介绍
1、视觉问答是计算机视觉与自然语言处理交叉领域的关键任务,致力于让模型依据给定图像和文本生成精准的预测回复,需要模型深度融合图像信息和文本信息。
2、相关技术中的方案通过对图像以及文本分别进行单线学习,难以把握图像和文本间复杂的语义联系,导致泛化能力差,面对新的图像和问题组合时,回答准确率极低,并且难以适应不断更新的图像内容和问题类型。
技术实现思路
1、本申请实施例提供一种数据处理方法、装置、设备、计算机可读存储介质及计算机程序产品,能够增强依据给定的图像和文本生成预测回复的精准度。
2、本申请实施例的技术方案是这样实现的:
3、本申请实施例提供一种数据处理方法,所述方法包括:
4、对多个第一图像的第一图像特征进行聚类,得到多个第一聚类簇,并对多个第一文本的第一文本特征进行聚类,得到多个第二聚类簇;
5、基于所述多个第一聚类
...【技术保护点】
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,针对任意一个所述聚类簇组合生成对应的第一组合标记,包括:
3.根据权利要求1所述的方法,其特征在于,所述从所述多个第一组合标记中确定出与所述第二图像以及所述第二文本匹配的第二组合标记,包括:
4.根据权利要求1所述的方法,其特征在于,所述第二组合标记是通过第一网络确定的;所述第一预测回复是通过第二网络生成的;所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述基于所述第二预测回复生成第一损失,包括:
6.根
...【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,针对任意一个所述聚类簇组合生成对应的第一组合标记,包括:
3.根据权利要求1所述的方法,其特征在于,所述从所述多个第一组合标记中确定出与所述第二图像以及所述第二文本匹配的第二组合标记,包括:
4.根据权利要求1所述的方法,其特征在于,所述第二组合标记是通过第一网络确定的;所述第一预测回复是通过第二网络生成的;所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述基于所述第二预测回复生成第一损失,包括:
6.根据权利要求4所述的方法,其特征在...
【专利技术属性】
技术研发人员:周叶江,
申请(专利权)人:马上消费金融股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。