数据处理方法、装置、设备、计算机可读存储介质及计算机程序产品制造方法及图纸

技术编号:46560986 阅读:0 留言:0更新日期:2025-10-10 21:14
本申请提供了一种数据处理方法、装置、设备、计算机可读存储介质及计算机程序产品;方法包括:对第一图像的第一图像特征进行聚类,得到第一聚类簇,基于第一聚类簇和第二聚类簇,生成聚类簇组合,针对聚类簇组合生成第一组合标记,聚类簇组合包括一个第一聚类簇和一个第二聚类簇;对第二图像的第二图像特征和第二文本的第二文本特征进行融合,得到第一融合特征;基于第二图像特征以及第二文本特征,从第一组合标记中确定出与第二图像以及第二文本匹配的第二组合标记;基于第二组合标记以及第一融合特征,生成针对第二文本的第一预测回复,第一预测回复与第二图像的内容相符。通过本申请,能够增强依据给定的图像和文本生成预测回复的精准度。

【技术实现步骤摘要】

本申请涉及人工智能,尤其涉及一种数据处理方法、装置、设备、计算机可读存储介质及计算机程序产品


技术介绍

1、视觉问答是计算机视觉与自然语言处理交叉领域的关键任务,致力于让模型依据给定图像和文本生成精准的预测回复,需要模型深度融合图像信息和文本信息。

2、相关技术中的方案通过对图像以及文本分别进行单线学习,难以把握图像和文本间复杂的语义联系,导致泛化能力差,面对新的图像和问题组合时,回答准确率极低,并且难以适应不断更新的图像内容和问题类型。


技术实现思路

1、本申请实施例提供一种数据处理方法、装置、设备、计算机可读存储介质及计算机程序产品,能够增强依据给定的图像和文本生成预测回复的精准度。

2、本申请实施例的技术方案是这样实现的:

3、本申请实施例提供一种数据处理方法,所述方法包括:

4、对多个第一图像的第一图像特征进行聚类,得到多个第一聚类簇,并对多个第一文本的第一文本特征进行聚类,得到多个第二聚类簇;

5、基于所述多个第一聚类簇以及所述多个第二聚本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,针对任意一个所述聚类簇组合生成对应的第一组合标记,包括:

3.根据权利要求1所述的方法,其特征在于,所述从所述多个第一组合标记中确定出与所述第二图像以及所述第二文本匹配的第二组合标记,包括:

4.根据权利要求1所述的方法,其特征在于,所述第二组合标记是通过第一网络确定的;所述第一预测回复是通过第二网络生成的;所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述第二预测回复生成第一损失,包括:

6.根据权利要求4所述的方...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,针对任意一个所述聚类簇组合生成对应的第一组合标记,包括:

3.根据权利要求1所述的方法,其特征在于,所述从所述多个第一组合标记中确定出与所述第二图像以及所述第二文本匹配的第二组合标记,包括:

4.根据权利要求1所述的方法,其特征在于,所述第二组合标记是通过第一网络确定的;所述第一预测回复是通过第二网络生成的;所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述第二预测回复生成第一损失,包括:

6.根据权利要求4所述的方法,其特征在...

【专利技术属性】
技术研发人员:周叶江
申请(专利权)人:马上消费金融股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1