建立跨域联合分布匹配模型的方法、装置及其应用制造方法及图纸

本发明专利技术公开了一种建立跨域联合分布匹配模型的方法、装置及其应用，该方法包括：对于一个视图x、另一个视图y以及两者的共享隐含表示z，建立生成器、样本联合分布、鉴别器和目标函数，对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。该方法无需大量的跨域配对训练数据样本。作为一种新型半监督学习方法，本发明专利技术的技术方案能更有效地解决可被建模为跨域联合分布匹配的诸多问题，如提升图像翻译、图像到语义标签的生成、基于语义标签的图像生成等任务的性能。本发明专利技术还对提出的基本多视图对抗推理学习方法进行了拓展，使得模型性能更优、更稳定。

【技术实现步骤摘要】
建立跨域联合分布匹配模型的方法、装置及其应用
本专利技术涉及人工智能领域，具体涉及建立跨域联合分布匹配模型的方法和装置、该模型的应用方法和装置、电子设备和计算机可读存储介质。
技术介绍
许多重要的机器学习和数据挖掘问题可以被建模为学习两个数据域之间的双向映射，例如：(1)图像翻译/编辑的目标是将某一输入图像转换成另一符合人们要求且跟原始图像有明显对应关系的图像；(2)图像属性预测的目标是自动为某一输入图像打上多个语义标签，而其反向过程为根据给定的若干语义标签生成一幅图像；(3)跨模态检索的目标是将某一给定模态或视图的输入查询样本自动与另一模态或视图的数据库中的样本进行相似度比较并返回最相似的若干样本。为了进行有意义的相似性比较，机器必须能够理解两个不同模态或视图的数据样本间的双向对应关系。容易看到，以上问题场景所涉及的数据域转换过程均可正向可反向，双向都有实际意义。基于生成式对抗网络(GANs，GenerativeAdversarialNetwork)，特别是条件GAN，跨域联合分布匹配是一种日益流行的解决此类问题的方法。虽然跨域联合分布匹配取得了重大进展，但该方法仍有两个主要缺点，即需要大量的跨域配对训练数据样本和众所周知的模型不稳定性。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的建立跨域联合分布匹配模型的方法和装置，及其应用方法和装置，以及电子设备和计算机可读存储介质。依据本专利技术的一个方面，提供了一种建立跨域联合分布匹配模型的方法，该方法包括：对于一个视图x、另一个视图y以及两者的共享隐含表示z，建立生成器、样本联合分布、鉴别器和目标函数；其中，建立生成器包括：确定给定z时x的条件高斯分布p01、给定z时y的条件高斯分布p02、给定x时z的条件高斯分布p03以及给定y时z的条件高斯分布p04；建立样本联合分布包括：建立z和x的生成式联合分布p1，建立z和x的推理式联合分布p2，建立z和y的生成式联合分布p3，建立z和y的推理式联合分布p4，定义x和y的联合分布p5为x和y配对出现的真实观测数据的分布，利用z建立x和y的生成式联合分布p6，利用z建立x为真实观测数据而y为生成数据时的x和y的推理与生成联合分布p7，利用z建立y为真实观测数据而x为生成数据时的x和y的推理与生成联合分布p8；建立鉴别器包括：使用参数为ωx的深度神经网络DNN建立鉴别来自联合分布p1的样本和来自联合分布p2的样本的第一鉴别器使用参数为ωy的DNN建立鉴别来自联合分布p3的样本和来自联合分布p4的样本的第二鉴别器使用参数为ζ的DNN建立鉴别x和y配对出现的真实观测样本P5和来自联合分布P6的样本的第三鉴别器Dζ(x,y)，使用参数为的DNN建立鉴别来自联合分布p7的样本和来自联合分布p8的样本的第四鉴别器建立目标函数包括：在给定z时，根据p01得到视图x的伪样本根据p02得到视图y的伪样本同时得到跨域伪配对样本在给定观测到的样本x时，根据p03得到隐含表示z的样本在给定观测到的y时，根据p04得到隐含表示z的样本设定根据x推断然后预测y得到的伪样本为设定根据y推断然后预测x得到的伪样本为在给定伪样本时，根据p03得到隐含表示z的伪样本在给定伪样本时根据p04得到隐含表示z的伪样本则目标函数为：其中，Θ表示所有生成器的集合，而Ez[·]表示在z所服从的分布上关于中括号内的函数取期望，α为正则系数；对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。可选地，所述建立生成器具体包括：使用参数为θx的DNN建立生成网络，该网络以隐含表示z为输入，以关于视图x的均值向量和协方差矩阵为输出；根据该网络输出的视图x的均值向量和协方差矩阵，确定给定z时视图x的条件高斯分布使用参数为θy的DNN建立生成网络，该网络以隐含表示z为输入，以关于视图y的均值向量和协方差矩阵为输出；根据该网络输出的视图y的均值向量和协方差矩阵，确定给定z时视图y的条件高斯分布使用参数为φx的DNN建立推理网络，该网络以视图x为输入，以隐含表示z的均值向量和协方差矩阵为输出；根据该网络输出的隐含表示z的均值向量和协方差矩阵，确定给定视图x时z的条件高斯分布使用参数为φy的DNN建立推理网络，该网络以视图y为输入，以隐含表示z的均值向量和协方差矩阵为输出；根据该网络输出的隐含表示z的均值向量和协方差矩阵，确定给定视图y时z的条件高斯分布可选地，隐含表示z的样本来自于给定的简单先验分布p(z)，具体为多维标准正太分布或均匀分布；视图x的样本来自于该视图的经验观测分布p(x)；视图y的样本来自于该视图的经验观测分布p(y)。可选地，所述建立样本联合分布具体包括：令θx为从z到x的生成网络参数；φx为从x到z的推理网络参数；θy为z到y的生成网络参数；φy为从y到z的推理网络参数；p5＝p(x，y)；可选地，在建立目标函数的过程中：在给定z时，得到视图x的伪样本θx为从z到x的生成网络参数；在给定z时，得到视图y的伪样本θy为从z到y的生成网络参数；在给定观测到的x时，得到隐含表示z的伪样本φx为从x到z的推理网络参数；在给定观测到的y时，得到隐含表示z的伪样本φy为从y到z的推理网络参数；设定根据x推断然后预测y得到的伪样本为设定根据y推断然后预测x得到的伪样本为在给定伪样本时，得到隐含表示z的伪样本φx为从x到z的推理网络参数；在给定伪样本时得到隐含表示z的伪样本φy为从y到z的推理网络参数。可选地，所述对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数包括：采用随机梯度的方式进行训练，训练的过程由更新每个生成器和更新每个鉴别器的交替迭代过程构成。可选地，该方法进一步包括：给定时，得到x的伪样本为θx为从z到x的生成网络参数；给定时，得到y的伪样本θy为从z到y的生成网络参数；使用参数为ηx的DNN建立鉴别联合样本(x，)与联合样本(x，x)的鉴别器使用参数为ηy的DNN建立鉴别联合样本(y，)与联合样本(y，y)的鉴别器则目标函数为：可选地，该方法进一步包括：使用参数为χx的DNN建立鉴别从视图y到视图x的跨域映射性能的鉴别器使用参数为χy的DNN建立鉴别从视图x到视图y的跨域映射性能的鉴别器目标函数为：其中，Ω表示所有鉴别器的集合。根据本专利技术的另一个方面，提供了一种跨域联合分布匹配模型的应用方法，该跨域联合分布匹配模型是根据如上述任一项所述的方法建立的，该方法包括：对于给定的视图x的样本，通过由参数为φx的推理网络定义的条件高斯分布推断与其相应的隐含表示然后通过由参数为θy的生成网络定义的条件高斯分布生成视图y的伪样本根据本专利技术的又一个方面，提供了一种跨域联合分布匹配模型的应用方法，该跨域联合分布匹配模型是根据如上述任一项所述的方法建立的，该方法对于给定的视图x的样本，从数据库中检索与其最相关的视图y的样本，该方法具体包括：对于数据库中的大量的视图y的样本，通过由参数为φy的推理网络定义的条件高斯分布推断每个样本相应的隐含表示对于给定的视图x的一个样本，通过有参数为φx的推理网络定义的条件高斯分布推断其相应的隐含表示计算得到与最为相似的则相应的视图y的样本即为与给定的视图x的所述样本最相关的本文档来自技高网...

【技术保护点】
1.一种建立跨域联合分布匹配模型的方法，其中，该方法包括：对于一个视图x、另一个视图y以及两者的共享隐含表示z，建立生成器、样本联合分布、鉴别器和目标函数；其中，建立生成器包括：确定给定z时x的条件高斯分布p01、给定z时y的条件高斯分布p02、给定x时z的条件高斯分布p03以及给定y时z的条件高斯分布p04；建立样本联合分布包括：建立z和x的生成式联合分布p1，建立z和x的推理式联合分布p2，建立z和y的生成式联合分布p3，建立z和y的推理式联合分布p4，定义x和y的联合分布p5为x和y配对出现的真实观测数据的分布，利用z建立x和y的生成式联合分布p6，利用z建立x为真实观测数据而y为生成数据时的x和y的推理与生成联合分布p7，利用z建立y为真实观测数据而x为生成数据时的x和y的推理与生成联合分布p8；建立鉴别器包括：使用参数为ωx的深度神经网络DNN建立鉴别来自联合分布p1的样本和来自联合分布p2的样本的第一鉴别器

【技术特征摘要】
1.一种建立跨域联合分布匹配模型的方法，其中，该方法包括：对于一个视图x、另一个视图y以及两者的共享隐含表示z，建立生成器、样本联合分布、鉴别器和目标函数；其中，建立生成器包括：确定给定z时x的条件高斯分布p01、给定z时y的条件高斯分布p02、给定x时z的条件高斯分布p03以及给定y时z的条件高斯分布p04；建立样本联合分布包括：建立z和x的生成式联合分布p1，建立z和x的推理式联合分布p2，建立z和y的生成式联合分布p3，建立z和y的推理式联合分布p4，定义x和y的联合分布p5为x和y配对出现的真实观测数据的分布，利用z建立x和y的生成式联合分布p6，利用z建立x为真实观测数据而y为生成数据时的x和y的推理与生成联合分布p7，利用z建立y为真实观测数据而x为生成数据时的x和y的推理与生成联合分布p8；建立鉴别器包括：使用参数为ωx的深度神经网络DNN建立鉴别来自联合分布p1的样本和来自联合分布p2的样本的第一鉴别器使用参数为ωy的DNN建立鉴别来自联合分布p3的样本和来自联合分布p4的样本的第二鉴别器使用参数为ζ的DNN建立鉴别x和y配对出现的真实观测样本P5和来自联合分布P6的样本的第三鉴别器Dζ(x,y)，使用参数为的DNN建立鉴别来自联合分布p7的样本和来自联合分布p8的样本的第四鉴别器建立目标函数包括：在给定z时，根据p01得到视图x的伪样本根据p02得到视图y的伪样本同时得到跨域伪配对样本在给定观测到的样本x时，根据p03得到隐含表示z的样本在给定观测到的y时，根据p04得到隐含表示z的样本设定根据x推断然后预测y得到的伪样本为设定根据y推断然后预测x得到的伪样本为在给定伪样本时，根据p03得到隐含表示z的伪样本在给定伪样本时根据p04得到隐含表示z的伪样本则目标函数为：其中，Θ表示所有生成器的集合，而Ez[·]表示在z所服从的分布上关于中括号内的函数取期望，α为正则系数；对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。2.如权利要求1所述的方法，其中，所述建立生成器具体包括：使用参数为θx的DNN建立生成网络，该网络以隐含表示z为输入，以关于视图x的均值向量和协方差矩阵为输出；根据该网络输出的视图x的均值向量和协方差矩阵，确定给定z时视图x的条件高斯分布使用参数为θy的DNN建立生成网络，该网络以隐含表示z为输入，以关于视图y的均值向量和协方差矩阵为输出；根据该网络输出的视图y的均值向量和协方差矩阵，确定给定z时视图y的条件高斯分布使用参数为φx的DNN建立推理网络，该网络以视图x为输入，以隐含表示z的均值向量和协方差矩阵为输出；根据该网络输出的隐含表示z的均值向量和协方差矩阵，确定给定视图x时z的条件高斯分布使用参数为φy的DNN建立推理网络，该网络以视图y为输入，以隐含表示z的均值向量和协方差矩阵为输出；根据该网络输出的隐含表示z的均值向量和协方差矩阵，确定给定视图y时z的条件高斯分布3.一种跨域联合分布匹配模型的应用方法，该跨域联合分布匹配模型是根据如权利要求1-2中任一项所述的方法建立的，其中，该方法包括：对于给定的视图x的样本，通过由参数为φx的推理网络定义的条件高斯分布推断与其相应的隐含表示然后通过由参数为θy的生成网络定义的条件高斯分布生成视图y的伪样本4.一种跨域联合分布匹配模型的应用方法，该跨域联合分布匹配模型是根据如权利要求1-2中任一项所述的方法建立的，其中，该方法对于给定的视图x的样本，从数据库中检索与其最相关的视图y的样本，该方法具体包括：对于数据库中的大量的视图y的样本，通过由参数为φy的推理网络定义的条件高斯分布推断每个样本相应的隐含表示对于给定的视图x的一个样本，通过有参数为φx的推理网络定义的条件高斯分布推断其相应的隐含表示计算得到与最为相似的则相应的视图y的样本即为与给定的视图x的所述样本最相关的视图y的样本。5.一种建立跨域联合分布匹配模型的装置，其中，该装置包括：生成器建立单元、样本联合分布建立单元、鉴别器建立单元、目标函数建立单元和训练单元；其中，对于一个视图x、另一个视图y以及两者的共享隐含表示z，所述生成器建立单元，适于确定...

【专利技术属性】
技术研发人员：王浩，杜长营，庞旭林，张晨，杨康，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11