【技术实现步骤摘要】
【国外来华专利技术】识别生成网络的显著特征
技术介绍
诸如WaveNet、WaveRNN和生成对抗网络的生成网络在诸如话音合成和图像生成之类的音频/视觉合成中生成了非常好的结果。这样的模型具有被局限于流形(manifold)或拓扑空间的属性。因此，例如，WaveNet被局限于产生自然话音，即被局限于话音流形。然而，这样的系统在流形之外再现输入的方面存在困难。例如，非话音声音随着噪声水平升高而趋向于导致音素误差。
技术实现思路
实施方式提供了一种从输入提取显著特征的编码器。显著特征更加鲁棒且冗余较少，并且可以充当使得生成网络针对噪声鲁棒的提升，这产生更少的伪像以及更加逼真的输出。显著特征还可以充当一种有效的压缩技术。实施方式训练克隆编码器以识别不同但是等效的输入的显著特征。实施方式还可以使用显著特征来条件化(condition)生成网络。实施方式并不尝试近似干净信号(cleansignal)，从而网络的生成属性在条件化期间并不受限。为了训练编码器，实施方式可以针对干净输入信号生成若干等效信号。等效信号与干净输入信号共享显著特征，但是根据干净信号被修改(例如...
【技术保护点】
1.一种用于识别生成网络的特征的方法，所述方法包括：/n获得针对输入批次中的每个干净输入的输入的集合，所述输入的集合包括至少一个经修改输入，每个经修改输入是所述干净输入的不同经修改版本；/n训练具有权重的编码器以通过针对所述输入批次中的每个输入的集合执行以下操作来提供输入的特征：/n将该输入的集合提供至一个或多个克隆编码器，每个克隆编码器共享权重，并且所述一个或多个克隆编码器中的每个克隆编码器接收该输入的集合中不同的相应输入，以及/n修改所述权重以最小化全局损失函数，所述全局损失函数具有第一项以及第二项，所述第一项最大化该输入的集合的特征之间的相似性，所述第二项最大化由所述...
【技术特征摘要】
【国外来华专利技术】1.一种用于识别生成网络的特征的方法，所述方法包括：
获得针对输入批次中的每个干净输入的输入的集合，所述输入的集合包括至少一个经修改输入，每个经修改输入是所述干净输入的不同经修改版本；
训练具有权重的编码器以通过针对所述输入批次中的每个输入的集合执行以下操作来提供输入的特征：
将该输入的集合提供至一个或多个克隆编码器，每个克隆编码器共享权重，并且所述一个或多个克隆编码器中的每个克隆编码器接收该输入的集合中不同的相应输入，以及
修改所述权重以最小化全局损失函数，所述全局损失函数具有第一项以及第二项，所述第一项最大化该输入的集合的特征之间的相似性，所述第二项最大化由所述编码器生成的所述特征内的独立性和单位方差，所述编码器是所述一个或多个编码器之一；以及
使用所述编码器提取新输入的特征并且将所提取的特征提供至所述生成网络。
2.根据权利要求1所述的方法，其中所述第一项测量从所述输入的集合中的第一输入提取的特征与从来自所述输入的集合的每个其余输入提取的特征之间的差异。
3.根据权利要求1所述的方法，其中所述第一项测量从所述输入的集合中的每个输入提取的特征与从所述输入的集合中的每个其余输入提取的特征之间的差异。
4.根据权利要求1至3中任一项所述的方法，其中所述第二项最小化指定分布和由所述编码器在所述输入批次上提取的第一特征的分布之间的最大均值偏差。
5.根据权利要求4所述的方法，其中所述指定分布是拉普拉斯分布。
6.根据权利要求4所述的方法，其中所述指定分布是高斯分布。
7.根据权利要求4至6中任一项所述的方法，其中所述第二项被表达为：
其中：
M是所述批次的大小，k(·,·)是核，z表示所述输入的集合中的输入的显著特征，并且y根据所述指定分布取得。
8.根据权利要求1至7中任一项所述的方法，其中所述第二项进一步最大化提取的特征内的稀疏性。
9.根据权利要求1至8中任一项所述的方法，其中所述全局损失函数具有所述第一项、所述第二项以及第三项，所述第三项最大化解码输入和目标输入之间的相似性，所述解码输入是提取的特征的解码版本。
10.根据权利要求9所述的方法，其中最大化所述解码输入和所述目标输入之间的相似性包括：
将由所述一个或多个克隆编码器中的编码器产生的所述特征提供至解码器；以及
调整所述解码器的权重以匹配所述目标输入。
11.根据权利要求9或10所述的方法，其中所述目标输入表征与所述输入的集合相关联的干净输入的短期频谱特性。
12.根据权利要求10或在其引用权利要求10时的权利要求11所述的方法，其中所述解码器是一个或多个克隆解码器之一，所述克隆解码器与所述克隆编码器具有一对一关系。
13.一种方法，包括：
接收输入信号；
针对从所述输入信号提取的多个时间序列中的每个时间序列：
通过将该时间序列提供至作为一个或多个克隆编码器之一的、被训练以提取特征的编码器来提取该时间序列的特征，其中所述克隆编码器共享权重并且在训练期间最小化全局损失函数，所述全局损失函数最大化由所述克隆编码器中的每个克隆编码器输出的所述特征之间的相似性并且最大化由所述编码...
【专利技术属性】
技术研发人员：威廉·巴斯蒂安·克雷杰，林施杰，迈克尔·奇涅，简·斯科格隆，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。