【技术实现步骤摘要】
本申请涉及多模态处理技术，并且更具体地涉及一种融合生成视觉的文本分类方法和系统、训练视觉生成器的方法和系统以及实现上述方法的计算机可读存储介质。
技术介绍
1、随着人工智能领域的发展，利用机器学习根据单一模态的信息进行分类的技术已十分成熟。随着信息内容越来越丰富，往往需要同时根据多种模态的信息来综合判断以进行内容分类，例如根据用户评论中的文本、图像、结构化表格数据等多种模态的信息进行商户划分。随着多模态处理方法在人工智能领域的发展，期望将多模态处理方法引入到各种各样的分类场景中。
2、目前，基于多模态处理的文本分类方法是在文本输入的基础上增加同文本匹配的图片作为额外信息输入，来提高模型分类结果的准确性。然而，在众多场景中，难以获取到同文本相匹配的图片来作为模型的额外信息输入，极大地限制了多模态处理的文本分类方法在各种文本分类领域的应用。
技术实现思路
1、为了解决或至少缓解以上面临的问题，本申请提供了以下技术方案。
2、按照本申请的第一方面，提供一种用于训练视觉生成...
【技术保护点】
1.一种用于训练视觉生成器的方法，其特征在于，所述视觉生成器包括生成模型和判别模型，所述方法包括下列步骤：
2.根据权利要求1所述的方法，其中获取多个文本的每个文本的文本特征向量包括：
3.根据权利要求1所述的方法，其中所述判别模型训练集还包括对应于所述视觉图像集的标签集和对应于所述标注图像集的标签集。
4.根据权利要求1所述的方法，其中利用所述生成模型训练集来训练所述生成模型包括：
5.根据权利要求1所述的方法，其中所述生成模型基于以下中的一个或多个来构建：生成对抗网络、变量自动编码器和基于流的生成模型。
...
【技术特征摘要】
1.一种用于训练视觉生成器的方法，其特征在于，所述视觉生成器包括生成模型和判别模型，所述方法包括下列步骤：
2.根据权利要求1所述的方法，其中获取多个文本的每个文本的文本特征向量包括：
3.根据权利要求1所述的方法，其中所述判别模型训练集还包括对应于所述视觉图像集的标签集和对应于所述标注图像集的标签集。
4.根据权利要求1所述的方法，其中利用所述生成模型训练集来训练所述生成模型包括：
5.根据权利要求1所述的方法，其中所述生成模型基于以下中的一个或多个来构建：生成对抗网络、变量自动编码器和基于流的生成模型。
6.根据权利要求1所述的方法，其中至少将所述视觉图像集和标注图像集作为判别模型训练集来训练所述判别模型包括：
7.根据权利要求1所述的方法，其中所述方法还包括：
8.根据权利要求7所述的方法，其中所述第一目标函数用于确定所述训练的判别模型将所述判别模型训练集中的所述标注图像集的真实样本判别为真的概率。
9.根据权利要求7所述的方法，其中所述第二目标函数用于确定所述判别模型训练集中的所述视觉图像集中的视觉图像与所述标注图像集的真实样本之间的距离。
10.根据权利要求7-9中任一项所述的方法，其中所述方法还包括：
11.根据权利要求10所述的方法，其中所述方法还包括：
12.一种用于训练视觉生成器的系统，其特征在于，所述视觉生成器包括生成模型和判别模型，所述系统包括：
13.根据权利要求12所述的系统，其中所述获取单元进一步配置成：
14.根据权利要求12所述的系统，其中所述判别模型训练集还包括对应于所述视觉图像集的标签集和对应于所述标注图像集的标签集。
15.根据权利要求12所述的系统，其中所述第一训练单元进一步配置成：
16.根据权利要求12所述的系统，其中所述生成模型基于以下中的一个或多个来构建：生成对抗网络、变量自动编码器和基于流的生成模型。
17.根据权利要求12所述的系统，其中所述第二训练单元进一步配置成：
18.根据权利要求12所述的系统，其中所述系统还包括第三训练单元，所述第三训练单元配置成：
19.根据权利要求18所述的系统，其中所述第一目标函数用于确定所述训练的判别模型将所述判别模型训练集中的所述标注图像集的真实样本判别为真的概率。
20.根据权利要求18所述的系统，其中所述第二目标函数用于确...
【专利技术属性】
技术研发人员：顾河建，郑建宾，高鹏飞，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。