一种多模态数据处理方法、电子设备和存储介质技术

技术编号:41063063 阅读:21 留言:0更新日期:2024-04-24 11:15
本发明专利技术涉及计算机技术应用领域,特别是涉及一种多模态数据处理方法、电子设备和存储介质,包括:对第一模态数据和第二模态数据分别进行第一模态编码和第二模态编码,其中,第一模态数据编码后的数据跟第二模态数据编码后的数据进行融合之后作为下一次第一模态编码的输入,在达到预设编码次数之后,第一模态数据和第二模态数据的编码后的数据解码后再次进行融合,得到最终的融合数据,其中,在第一模态编码过程中,会对第一模态数据进行数据增强操作。本发明专利技术能对第一模态数据进行数据增强,能够使得第一模态数据和第二模态数据更好的融合。

【技术实现步骤摘要】

本专利技术涉及计算机技术应用领域,特别是涉及一种多模态数据处理方法、电子设备和存储介质


技术介绍

1、在一些应用场景中,需要对目标环境下的多模态数据进行处理,例如,需要对非图像形式的模态数据和图像形式的模态数据进行融合操作,以获得所需要的数据。现有的多模态数据处理方案中,非图像形式的模态数据会存在噪声,使得与图像形式的模态数据很难有效的融合,因此,融合效果不够理想。


技术实现思路

1、针对上述技术问题,本专利技术采用的技术方案为:

2、根据本专利技术第一方面,提供了一种多模态数据处理方法,所述方法包括如下步骤:

3、s100,获取多模态数据,所述多模态数据包括非图像形式的第一模态数据和图像形式的第二模态数据。

4、s200,对所述第一模态数据进行第一模态编码,得到第一模态数据对应的第一模态编码数据fc1,以及对所述第二模态数据进行第二模态编码,得到第二模态数据对应的第二模态编码数据fp1,并对fc1和fp1进行融合操作,得到对应的中间融合数据fm1;设置变量r=1。...

【技术保护点】

1.一种多模态数据处理方法,其特征在于,所述方法包括如下步骤:

2.根据权利要求1所述的方法,其特征在于,第一模态编码包括:

3.根据权利要求2所述的方法,其特征在于,所述第一模态数据为点云数据。

4.根据权利要求3所述的方法,其特征在于,S12具体包括:

5.根据权利要求1所述的方法,其特征在于,还包括如下步骤:

6.根据权利要求3所述的方法,其特征在于,所述融合操作包括:

7.根据权利要求6所述的方法,其特征在于,S24具体包括:

8.根据权利要求6所述的方法,其特征在于,S26具体包括:

...

【技术特征摘要】

1.一种多模态数据处理方法,其特征在于,所述方法包括如下步骤:

2.根据权利要求1所述的方法,其特征在于,第一模态编码包括:

3.根据权利要求2所述的方法,其特征在于,所述第一模态数据为点云数据。

4.根据权利要求3所述的方法,其特征在于,s12具体包括:

5.根据权利要求1所述的方法,其特征在于,还包括如下步骤:

6.根据权利要求3所述的方法,其...

【专利技术属性】
技术研发人员:冯霞梁宇龙左海超卢敏吕宗磊
申请(专利权)人:中国民航大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1