【技术实现步骤摘要】
本专利技术涉及一种基于深度学习的多模态交互的混合数据储存和检索方式。
技术介绍
1、基于单一模态进行储存和交互的系统目前有很多，但是很少有针对多模态(图片、视频、语音、文字)数据进行统一处理，通用储存的检索交互方法。
技术实现思路
1、本专利技术的目的是：通过深度学习技术，提供一种使用通用统一多模态深度学习模型，进行多模态数据的特征提取、融合、匹配计算、多模态数据生成的多模态通用统一混合数据检索、交互的新方法。
2、为了达到上述目的，本专利技术的技术方案是公开了一种基于深度学习的多模态混合数据库储存和交互方法，其特征在于，包括以下步骤：
3、步骤1、将所需要使用的多模态数据输入经过训练的通用统一多模态深度学习模型，由所述通用统一多模态深度学习模型提取多模态数据融合后的特征，获得融合特征数据；
4、步骤2、将步骤1获得的所述融合特征数据储存至通用数据库；
5、步骤3、利用经过训练的多模态深度学习模型，提取用户所输入的用户信息数据的特征，将所述特...
【技术保护点】
1.一种基于深度学习的多模态混合数据库储存和交互方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于深度学习的多模态混合数据库储存和交互方法，其特征在于，步骤1中，所述多模态数据包括图像数据、视频数据、语言数据和自然语言数据。
3.如权利要求1所述的一种基于深度学习的多模态混合数据库储存和交互方法，其特征在于，步骤1中，所述通用统一多模态深度学习模型包括编码层和解码层。
4.如权利要求1所述的一种基于深度学习的多模态混合数据库储存和交互方法，其特征在于，步骤2中，所述通用数据库的基本特征包括：可以存储相应的多模态融合数据...
【技术特征摘要】
1.一种基于深度学习的多模态混合数据库储存和交互方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于深度学习的多模态混合数据库储存和交互方法，其特征在于，步骤1中，所述多模态数据包括图像数据、视频数据、语言数据和自然语言数据。
3.如权利要求1所述的一种基于深度学习的多模态混合数据库储存和交互方法，其特征在于，步骤1中，所述通用统一多模态深度学习模型包括编码层和解码层。
4.如权利要求1所述的一种基于深...
【专利技术属性】
技术研发人员：陈诚，樊嘉卿，童庆，林涵，赵晓静，周靖靖，赵玉琴，
申请(专利权)人：万达信息股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。