【技术实现步骤摘要】
本专利技术涉及数据处理领域，尤其涉及一种图文统一编码方法、装置、计算机设备及介质。
技术介绍
1、数据的良好表示对于机器学习模型的性能很重要，以有意义的方式表示数据的能力对于多模态问题至关重要，并构成任何模型的基础。将数据表示成计算模型可以直接使用的格式一直是一个挑战。多模态数据存在异构性、数据量大、数据缺失和计算代价大等特点，这给多模态数据的处理及蕴含的事件挖掘带来了挑战，需研究将多个模态的数据信息进行统一编码表示的方法。
2、现有的多模态数据表示算法基本上以一致性准则的思路展开研究，采用协同正则化的方法，将多模态表示分为联合表示和协调表示两种。联合表示将单模态数据组合到相同的表示空间中，而协调表示单独处理单模态数据，但对它们施加某些相似性约束，使它们进入协调表示空间。
3、现有方式中，公开号为cn106202281a的专利文献公开了一种多模态数据表示学习方法，通过接收目标多模态数据，并获取目标多模态数据对应的各个模态以及各个模态的特征表示；根据目标多模态数据、特征表示和预设图随机走模型获取融合多模态特征的数据...
【技术保护点】
1.一种图文统一编码方法，其特征在于，包括：
2.如权利要求1所述的图文统一编码方法，其特征在于，所述图文数据统一编码模型还包括向量相似性度量判别器，所述向量相似性度量判别器将所述图像子网络和所述文本子网络连接起来。
3.如权利要求2所述的图文统一编码方法，其特征在于，所述对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组包括：
4.如权利要求1所述的图文统一编码方法，其特征在于，所述采用所述图文数据分组对所述图文统一编码模型进行训练，得到训练好的图文编码模型包括：
5.如权利要求1所述的图文统一编码方法，其...
【技术特征摘要】
1.一种图文统一编码方法，其特征在于，包括：
2.如权利要求1所述的图文统一编码方法，其特征在于，所述图文数据统一编码模型还包括向量相似性度量判别器，所述向量相似性度量判别器将所述图像子网络和所述文本子网络连接起来。
3.如权利要求2所述的图文统一编码方法，其特征在于，所述对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组包括：
4.如权利要求1所述的图文统一编码方法，其特征在于，所述采用所述图文数据分组对所述图文统一编码模型进行训练，得到训练好的图文编码模型包括：
5.如权利要求1所述的图文统一编码方法，其特征在于，在所述采用所述训练好的图文编码模型对所述图文进行统一编码之后，所述图文统...
【专利技术属性】
技术研发人员：陈晓红，余海航，曹文治，刘利枚，杨俊丰，曾阳艳，
申请(专利权)人：湘江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。