图像生成方法、神经网络的压缩方法及相关装置、设备制造方法及图纸

本发明专利技术公开了人工智能领域中的一种图像生成方法、神经网络的压缩方法及相关装置、设备，该图像生成方法包括将第一矩阵输入初始图像生成器，得到生成图像；将生成图像输入预设判别器，得到判别结果，其中，预设判别器是经过真实图像和所述真实图像对应的分类训练得到的；根据判别结果更新初始图像生成器，得到目标图像生成器；进而，将第二矩阵输入目标图像生成器，得到样本图像。进一步地，还公开一种神经网络的压缩方法，基于上述图像生成方法得到的样本图像对预设判别器进行压缩。

Image Generation Method, Neural Network Compression Method and Related Devices and Equipment

【技术实现步骤摘要】
图像生成方法、神经网络的压缩方法及相关装置、设备
本申请涉及人工智能
，特别涉及一种图像生成方法、神经网络的压缩方法及相关装置、设备。
技术介绍
随着深度学习技术的发展，神经网络(neuralnetwork，NN)、深度神经网络(deepneuralnetworks，DNN)等机器学习模型已经被应用于各种领域中，例如，图片分类、物体检测、语音识别等。通常训练得到的机器学习模型具有大量复杂的网络结构，包含大量的模型参数，因此，机器学习模型的运行需要巨大的计算资源，难以直接应用到手机、平板电脑、车载单元(onboardunit，OBU)、摄像头等小型移动设备上，此时，需要对机器学习模型进行的压缩，以降低机器学习模型对计算资源需求，加速机器学习模型的运行。现有的神经网络的压缩和加速算法常常基于该待压缩机器学习模型的训练样本来计算，然而，在现实生活中，真实训练样本往往受到隐私政策或法律的保护，不可被第三方获得。此外，需要被压缩的机器学习模型的结构也常常是不可见的，只有输入和输出的接口被提供。因而，在真实训练样本不可获得的情况下，大部分神经网络的压缩技术没有办法使用。因此，如何生成训练样本？这是一个在无真实训练样本的情况下实现神经网络的压缩亟待解决的技术问题。现有技术中通常使用生成式对抗网络(generativeadversarialnetworks,GAN)来实现训练样本的生成，GAN通常包括生成器和判别器，通过这两个网络互相博弈学习，从而产生更好的输出。其中，生成器捕捉真实训练样本的潜在分布,并生成新的样本；判别器是一个二分类器，用于判别输入样本是真实样本还是生成样本。通过迭代优化生成器和判别器，当判别器无法正确判别输入样本的数据来源时,可以认为这个生成器已经学到了真实训练数据的分布。这个生成器就可以基于已有的真实训练样本，生成和真实训练样本类似的样本。然而，生成器需要使用真实训练样本来进行训练，对于真实训练样本无法获得的情况下，无法实现GAN的训练，也无法得到和真实训练样本类似的样本。
技术实现思路
本申请实施例提供一种图像生成方法、神经网络的压缩方法及相关装置、设备，可以实现在无真实图像的情况下，生成与真实图像类似的样本图像，并实现神经网络的压缩。第一方面，本申请实施例提供了一种图像生成器的训练方法，包括：训练设备将第一矩阵输入初始图像生成器，得到生成图像，该初始图像生成器为深度神经网络；将生成图像输入预设判别器，得到判别结果，其中，预设判别器是经过第一训练数据训练得到的，该第一训练数据包括真实图像和该真实图像对应的分类；进而，根据判别结果更新初始图像生成器，得到目标图像生成器。应理解，该初始图像生成器可以是初始化的深度神经网络，也可以是在训练过程中得到的过程中的深度神经网络。训练设备可以是终端设备，例如手机、平板电脑、台式计算机、便携式笔记本、AR/VR、车载终端等，也可以是服务器或者云端等。上述方法不需要训练预设判别器使用的真实图像，就可以训练得到目标图像生成器，且训练得到的目标图像生成器可以用于生成与预设判别器训练所使用的真实图像的特性相似的样本图像，该样本图像可以替代预设判别器的训练数据，实现预设判别器的压缩等需要预设判别器的训练数据的功能。应理解，在一种应用场景中，预设判别器可以是图像识别网络，该图像识别网络可以用于识别输入的图像的所属分类。在另一种应用场景中，预设判别器可以是人脸属性识别网络，该人脸属性识别网络可以用于识别输入的人脸图像描述的人物的属性，例如年龄、种族、性别和情绪等。在一个可选的实现方式中，判别结果可以包括生成图像被预测为M个分类中每一个分类的概率，M为大于1的整数。在一个可选的实现方式中，训练设备根据判别结果更新初始图像生成器的第一种实现方式可以是：确定M个分类中各个分类对应的概率中的最大概率，将该最大概率对应的分类确定为生成图像的真实结果；进而，根据判别结果与真实结果的差异更新初始图像生成器。上述方法，训练设备根据预设判别器对生成图像的判别结果确定真实结果，基于判别结果和真实结果之间的差异更新初始图像生成器，进而实现无真实图像下训练得到目标图像生成器，且根据判别结果确定真实结果为最大概率对应的分类，减少判别结果和真实结果之间的差异，提高训练过程的运算效率。在一个可选的实现方式中，在根据判别结果更新初始图像生成器之前，该方法还包括训练设备通过预设判别器提取生成图像的特征；训练设备根据判别结果更新初始图像生成器的第二种实现方式可以是：确定M个分类中各个分类对应的概率中的最大概率，将该最大概率对应的分类确定为生成图像的真实结果；进而，根据判别结果与真实结果的差异以及特征更新初始图像生成器。执行上述方法可实现无真实图像下训练得到目标图像生成器，且在对初始图像生成器进行训练的过程中考虑到输入的真实图像通过预设判别器提取的特征所具有的特性，通过约束生成图像的特征，使得训练得到的目标图像生成器生成的样本图像更接近真实图像。在一个可选的实现方式中，训练设备根据判别结果更新初始图像生成器的第三种实现方式可以是：确定M个分类中各个分类对应的概率中的最大概率，将该最大概率对应的分类确定为生成图像的真实结果；根据与N个第一矩阵一一对应的N个判别结果，得到M个分类中每一个分类在该N个判别结果中的概率平均值，N为正整数；根据判别结果与真实结果的差异以及概率平均值更新初始图像生成器。上述方法可实现无真实图像下训练得到目标图像生成器，且在对初始图像生成器进行训练的过程中通过约束生成图像的判别结果，使得目标图像生成器可以均衡地产生各个分类的样本图像，避免目标图像生成器陷入局部最优。在一个可选的实现方式中，在根据判别结果更新初始图像生成器之前，该方法还包括训练设备通过预设判别器提取生成图像的特征；根据判别结果更新初始图像生成器的第四种实现方式可以是：确定M个分类中各个分类对应的概率中的最大概率，将该最大概率对应的分类确定为生成图像的真实结果；根据与N个第一矩阵一一对应的N个判别结果，得到M个分类中每一个分类在该N个判别结果中的概率平均值；进而，根据判别结果与真实结果的差异、特征的特征值以及概率平均值共同更新初始图像生成器。第二方面，本申请实施例提供了一种图像生成方法，包括：执行设备将第二矩阵输入目标图像生成器，得到样本图像，其中，目标图像生成器为通过第一方面所述的任意一种图像生成器的训练方法得到的。执行设备可以是终端设备，例如手机、平板电脑、台式计算机、便携式笔记本、AR/VR、车载终端等，也可以是服务器或者云端等。上述方法，通过第一方面所述的训练方法训练得到的目标图像生成器可以生成与预设判别器训练所使用的真实图像的特性相似的样本图像，该样本图像可以替代预设判别器的训练数据，实现预设判别器的压缩等需要预设判别器的训练数据的功能。第三方面，本申请实施例还提供了一种神经网络压缩方法，包括：压缩设备获取样本图像，其中，样本图像通过如第二方面任一项所述的图像生成方法生成，其中，预设判别器为待压缩神经网络；将所述样本图像输入到所述待压缩神经网络，得到所述样本图像对应的分类；进而，根据样本图像和样本图像对应的分类对待压缩神经网络进行压缩，得到压缩后的神经网络，其中，压缩后的神经网络的参数少于待压缩神经网本文档来自技高网...

【技术保护点】
1.一种图像生成方法，其特征在于，包括：将第一矩阵输入初始图像生成器，得到生成图像，所述初始图像生成器为深度神经网络；将所述生成图像输入预设判别器，得到判别结果，其中，所述预设判别器是经过第一训练数据训练得到的，所述第一训练数据包括真实图像和所述真实图像对应的分类；根据所述判别结果更新所述初始图像生成器，得到目标图像生成器；将第二矩阵输入所述目标图像生成器，得到样本图像。

【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：将第一矩阵输入初始图像生成器，得到生成图像，所述初始图像生成器为深度神经网络；将所述生成图像输入预设判别器，得到判别结果，其中，所述预设判别器是经过第一训练数据训练得到的，所述第一训练数据包括真实图像和所述真实图像对应的分类；根据所述判别结果更新所述初始图像生成器，得到目标图像生成器；将第二矩阵输入所述目标图像生成器，得到样本图像。2.根据权利要求1所述的方法，其特征在于，所述判别结果包括所述生成图像被预测为M个分类中每一个分类的概率，M为大于1的整数。3.根据权利要求2所述的方法，其特征在于，所述根据所述判别结果更新所述初始图像生成器，具体包括：确定所述M个分类中各个分类对应的概率中的最大概率，将所述最大概率对应的分类确定为所述生成图像的真实结果；根据所述判别结果与所述真实结果的差异更新所述初始图像生成器。4.根据权利要求2所述的方法，其特征在于，在所述根据所述判别结果更新所述初始图像生成器之前，所述方法还包括：通过所述预设判别器提取所述生成图像的特征；所述根据所述判别结果更新所述初始图像生成器，具体包括：确定所述M个分类中各个分类对应的概率中的最大概率，将所述最大概率对应的分类确定为所述生成图像的真实结果；根据所述判别结果与所述真实结果的差异以及所述特征更新所述初始图像生成器。5.根据权利要求2所述的方法，其特征在于，所述根据所述判别结果更新所述初始图像生成器，具体包括：确定所述M个分类中各个分类对应的概率中的最大概率，将所述最大概率对应的分类确定为所述生成图像的真实结果；根据与N个所述第一矩阵一一对应的N个判别结果，得到所述M个分类中每一个分类在所述N个判别结果中的概率平均值，N为正整数；根据所述判别结果与所述真实结果的差异以及所述概率平均值更新所述初始图像生成器。6.根据权利要求2所述的方法，其特征在于，在所述根据所述判别结果更新所述初始图像生成器之前，所述方法还包括：通过所述预设判别器提取所述生成图像的特征；所述根据所述判别结果更新所述初始图像生成器，具体包括：确定所述M个分类中各个分类对应的概率中的最大概率，将所述最大概率对应的分类确定为所述生成图像的真实结果；根据与N个所述第一矩阵一一对应的N个判别结果，得到所述M个分类中每一个分类在所述N个判别结果中的概率平均值；以及，根据所述判别结果与所述真实结果的差异、所述特征的特征值以及所述概率平均值更新所述初始图像生成器。7.一种神经网络的压缩方法，其特征在于，包括：获取样本图像，所述样本图像是通过如权利要求1-6任一项所述的图像生成方法生成的，其中，所述预设判别器为待压缩神经网络；将所述样本图像输入到所述待压缩神经网络，得到所述样本图像对应的分类；根据所述样本图像和所述样本图像对应的分类对所述待压缩神经网络进行压缩，得到压缩后的神经网络，其中，所述压缩后的神经网络的参数少于所述待压缩神经网络的参数。8.一种图像处理方法，其特征在于，包括：接收输入图像；将所述输入图像输入到压缩后的神经网络，通过所述压缩后的神经网络对所述输入图像进行处理，得到处理结果，其中，所述压缩后的神经网络是通过如权利要求7所述的神经网络压缩方法得到的；输出处理结果。9.一种样本生成方法，其特征在于，包括：将第一矩阵输入初始样本生成器，得到第一生成样本，所述初始样本生成器为深度神经网络；将所述第一生成样本输入预设判别器，得到判别结果，其中，所述预设判别器是经过第一训练数据训练得到的，所述第一训练数据包括真实样本和该真实样本对应的分类；根据所述第一生成样本的判别结果更新所述初始样本生成器的参数，得到目标样本生成器；将第二矩阵输入目标样本生成器，得到第二生成样本。10.根据权利要求8所述的方法，其特征在于，所述判别结果包括所述第一生成样本被预测为M个分类中每一个分类的概率，M为大于1的整数。11.根据权利要求9所述的方法，其特征在于，所述根据所述判别结果更新所述初始样本生成器，具体包括：确定所述M个分类中各个分类对应的概率中的最大概率，将所述最大概率对应的分类确定为所述第一生成样本的真实结果；根据所述判别结果与所述真实结果的差异更新所述初始样本生成器。12.根据权利要求9所述的方法，其特征在于，在所述根据所述判别结果更新所述初始样本生成器之前，所述方法还包括：通过所述预设判别器提取所述第一生成样本的特征；所述根据所述判别结果更新所述初始样本生成器，具体包括：确定所述M个分类中各个分类对应的概率中的最大概率，...

【专利技术属性】
技术研发人员：陈汉亭，王云鹤，刘传建，韩凯，许春景，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44