产生式模型的训练方法、数据生成方法、装置、介质和设备制造方法及图纸

本发明专利技术的实施方式提供了一种产生式模型的训练方法，所述产生式模型包括数据增广网络和概率变换网络，所述方法包括：通过所述数据增广网络基于训练数据和一随机数进行数据增广；计算增广得到的数据的概率密度；将所述训练数据和增广得到的数据拼接；通过所述概率变换网络基于拼接后的数据进行变换；获取变换后的拼接数据的概率密度；以使增广得到的数据的概率密度和变换得到的数据的概率密度之差最小为目标进行优化，以更新所述数据增广网络和概率变换网络的参数。此外，本发明专利技术的实施方式提供了一种数据生成方法。本发明专利技术的产生式模型的训练方法和数据生成方法，基于变分思想学习最优的数据增广网络和概率变换网络，能够提升模型的表达能力。

【技术实现步骤摘要】
产生式模型的训练方法、数据生成方法、装置、介质和设备
本专利技术的实施方式涉及人工智能领域，更具体地，本专利技术的实施方式涉及一种产生式模型的训练方法、数据生成方法、装置、介质和设备。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。数据增广是深度学习中常用的技巧之一，主要用于增加训练数据集，让数据集尽可能的多样化，使得训练的模型具有更强的泛化能力。目前数据增广的方式主要包括：水平/垂直翻转，旋转，缩放，裁剪，剪切，平移等。产生式模型根据数据的分布进行建模，可以实现图像、文字、视频生成，艺术创作，语音合成等一系列数据生成任务。当前的产生式模型用于数据生成需要解决的主要问题是：模型的表达能力需要足够强，可以拟合足够复杂的分布，如图像分布；此外计算需要足够高效，如模型的概率密度可以精确求解而无需采用数值方法近似，可以从模型中并行采样大量样本等。现有技术中，生成对抗网络、变分自编码器等模型无法精确计算概率密度，而需要采用核密度估计等数值手段近本文档来自技高网...

【技术保护点】
1.一种产生式模型的训练方法，所述产生式模型包括数据增广网络和概率变换网络，所述方法包括：/n通过所述数据增广网络基于训练数据和一随机数进行数据增广；/n计算增广得到的数据的概率密度；/n将所述训练数据和增广得到的数据拼接；/n通过所述概率变换网络基于拼接后的数据进行变换；/n获取变换后的拼接数据的概率密度；/n以使增广得到的数据的概率密度和变换得到的数据的概率密度之差最小为目标进行优化，以更新所述数据增广网络和概率变换网络的参数。/n

【技术特征摘要】
1.一种产生式模型的训练方法，所述产生式模型包括数据增广网络和概率变换网络，所述方法包括：
通过所述数据增广网络基于训练数据和一随机数进行数据增广；
计算增广得到的数据的概率密度；
将所述训练数据和增广得到的数据拼接；
通过所述概率变换网络基于拼接后的数据进行变换；
获取变换后的拼接数据的概率密度；
以使增广得到的数据的概率密度和变换得到的数据的概率密度之差最小为目标进行优化，以更新所述数据增广网络和概率变换网络的参数。


2.如权利要求1所述的产生式模型的训练方法，其中，所述随机数根据预设条件生成。


3.如权利要求2所述的产生式模型的训练方法，其中，所述预设条件至少包括待生成随机数的维度以及生成的随机数需服从的数据分布。


4.如权利要求1-3中任一所述的产生式模型的训练方法，其中，所述训练数据中包括多个训练样本。


5.如权利要求4所述的产生式模型的训练方法，其中，所述数据增广网络包括至少一个可逆变换层，其中每一可逆变换层的正向变换的输入为所述训练数据和初始输入的随机数或前一可逆变换层输出的变换后的随机数，输出为变换后的随机数以及所述变换的雅克比矩阵的行列式的对数。


6.如权利要求5所述的产生式模型的训练方法，其中，计算增广得到的数据的概率密度，包括：
计算初始输入的所述随机数在标准正态分布下的概率密度；
获取各层正向变换输出的雅克比矩阵的行列式的对数之和；
以所述随机数在标准正态分布下的概率密度与各层正向变换输出的雅克比矩阵的行列式的对数之和的差作为增广得到的数据的概率密度。


7.如权利要求5或6所述的产生式模型的训练方法，其中，所述概率变换网络包括至少一个可逆变换层，其中每一可逆变换层的正向变换的输入为拼接后的数据或前一可逆变换层输出的变换后的拼接数据，输出为变换后的拼接数据以及所述变换的雅克比矩阵的行列式的对数。


8.如权利要求7所述的产生式模型的训练方法，其中，获取变换后的拼接数据的概率密度，包括：
计算最终输出的变换后的拼接数据在标准正态分布下的概率密度；
获取各层正向变换输出的雅克比矩阵的行列式的对数之和；
以所述拼接数据在标准正态分布下的概率密度与各层正向变换输出的雅克比矩阵的行列式的对数之和的和作为变换后的拼接数据的概率密度。


9.如权利要求4所述的产生式模型的训练方法，其中，采用随机梯度优化法进行优化。


10.如权利要求9所述的产生式模型的训练方法，其中，根据预设次数进行优化。


11.一种数据生成方法，其中，利用权利要求1-10中任一项所述的产生式模型的训练方法训练得到的产生式模型进行数据生成。


12.如权利要求11所述的数据生成方法，其中，所述方法包括：
获取需生成的数据的生成参数；
基于所述生成参数利用所述产生式模型进行数据生成。


13.如权利要求12所述的数据生成方法，其中，所述生成参数至少包括需生成数据的数目。


14.如权利要求13所述的数据生成方法，其中，基于所述生成参数利用所述产生式模型进行数据生成，包括：
根据需生成数据的数目提供服从正态分布的随机数；
将所述随机数输入所述产生式模型的概率变换网络，由所述概率变换网络进行逆变换；
从逆变换后的结果中保留特定维作为生成的数据。


15.如权利要求14所述的数据生成方法，其中，保留结果中的前特定维数据作为生成的数据，其中所述特定维的维数与训练数据的维数相同。


16.一种产生式模型的训练装置，所述产生式模型包括数据增广网络和概率变换网络，所述装置包括：
数据增广模块，被配置为通过所述数据增广网络基于训练数据和一随机数进行数据增广；
第一概率密度计算模块，被配置为计算增广得到的数据的概率密度；
数据拼接模块，被配置为将所述训练数据和增广得到的数据拼接；
数据变换模块，被配置为通过所述概率变换网络基于拼接后的数...

【专利技术属性】
技术研发人员：陈键飞，朱军，田天，
申请(专利权)人：北京瑞莱智慧科技有限公司，
类型：发明
国别省市：北京;11