用于神经网络中的域适配的系统和方法技术方案

域适配模块(1800)用于使用来自域的相应平行隐藏层的相应输出来优化从第二域(1804)导出的第一域(1802)。

【技术实现步骤摘要】
【国外来华专利技术】用于神经网络中的域适配的系统和方法
本申请总体上涉及技术上有创造性的非常规解决方案，这些解决方案必须植根于计算机技术并产生具体的技术改进。
技术介绍
机器学习(有时称为深度学习)可用于与数据理解、检测和/或分类有关的各种有用应用，包括图像分类、光学字符识别(OCR)、对象识别、动作识别、语音识别以及情绪识别。然而，如本文中所理解的，机器学习系统可能不足以使用来自另一个域的训练数据集(例如，电影视频)来识别例如一个域(诸如计算机游戏)中的动作。例如，在计算机游戏行业中，视频和音频是两个独立的过程。首先设计和制作没有音频的游戏，然后音频小组调查整个游戏视频，并从音效(SFX)数据库中插入对应SFX，这非常耗时。如本文所理解的，机器学习可以用于加速该过程，但是当前动作识别模型是在真实世界视频数据集上训练的，从而使它们在用于游戏视频时受到数据集移位或数据集偏差的影响。
技术实现思路
为了克服上述域不匹配问题，训练数据(图像或视频或音频)的至少两个通用域用于对目标数据集进行分类。可以通过例如真实世界视频和计算机游戏视频、第一和第二说话者语音(用于语音识别)、标准字体文本和草书(用于手写识别)等来建立一对训练数据域。因此，由损失函数和/或实际神经网络建立的通用域适配模块从深度学习的两个训练域接收来自多个输出点的输入，并提供输出测度，使得可以对神经网络的两个轨迹中的一个以及可能两个进行优化。也可以使用通用的跨域特征归一化模块，并将其插入到神经网络的任一层中。因此，在一个方面，设备包括至少一个处理器和至少一个计算机存储装置，所述计算机存储装置不是瞬时信号并且包括可由至少一个处理器执行的指令。所述指令可执行以：访问与第一数据类型相关联的第一神经网络；访问与不同于第一数据类型的第二数据类型相关联的第二神经网络；将第一训练数据作为输入提供给第一神经网络；以及将第二训练数据作为输入提供给第二神经网络。第一训练数据不同于第二训练数据。所述指令还可执行以：识别来自第一层的第一输出，其中第一层是第一神经网络的输出层；以及识别来自第二层的第二输出，其中第二层是第二神经网络的输出层。第一输出是基于第一训练数据，并且第二输出是基于第二训练数据。所述指令还可执行以：基于第一输出和第二输出，确定对第三层的一个或多个权重的第一调整，其中第三层是第二神经网络的中间层。所述指令然后可执行以：选择第三层和第四层，其中第四层是第一神经网络的中间层。第三层和第四层是平行的中间层。所述指令还可执行以：将来自第三层的第三输出与来自第四层的第四输出进行比较，其中第三输出和第四输出是在将第三输出和第四输出分别提供给相应神经网络的随后的相应层之前的相应第三层和第四层的相应输出。第三输出和第四输出是分别基于第二训练数据和第一训练数据。所述指令然后可执行以：基于比较来确定对第三层的一个或多个权重的第二调整；以及基于对第一调整和第二调整两者的考虑来调整第三层的一个或多个权重。在一些示例中，可以在将第二训练数据提供给第二神经网络之前通过第一神经网络的副本建立第二神经网络。同样在一些示例中，第三层和第四层可以是除输出层之外的层，诸如相应神经网络的中间隐藏层。在一些实现方式中，第一训练数据可以与第二训练数据相关。例如，第一神经网络和第二神经网络可以与动作识别有关，并且第一训练数据可以与第二训练数据相关，因为第一训练数据和第二训练数据两者都可以与同一动作有关。作为另一示例，第一神经网络和第二神经网络可以与对象识别有关，并且第一训练数据可以与第二训练数据相关，因为第一训练数据和第二训练数据两者都可以与同一对象有关。更进一步，在一些实现方式中，所述指令可能够执行以将第三输出与第四输出进行比较以确定第三输出与第四输出的相似度，其中可以使用第一函数来评估相似度。同样在一些示例中，对第三层的一个或多个权重的第一调整的确定可以是基于与第一函数不同的第二函数。第一函数和第二函数可以是差异函数。在另一个方面，一种方法包括：访问与第一数据类型相关联的第一神经网络；访问与不同于第一数据类型的第二数据类型相关联的第二神经网络；将第一训练数据作为输入提供给第一神经网络；以及将第二训练数据作为输入提供给第二神经网络。第一训练数据不同于第二训练数据。所述方法还包括：识别来自第一层的第一输出，其中第一层是第一神经网络的输出层，并且其中第一输出是基于第一训练数据。所述方法然后包括：识别来自第二层的第二输出，其中第二层是第二神经网络的输出层，并且其中第二输出是基于第二训练数据。所述方法还包括：基于第一输出和第二输出，确定对第三层的一个或多个权重的第一调整，其中第三层是第二神经网络的中间层。所述方法还包括：选择第三层和第四层，其中第四层是第一神经网络的中间层，并且其中第三层和第四层是平行的中间层。所述方法然后包括：将来自第三层的第三输出与来自第四层的第四输出进行比较，其中第三输出和第四输出是在将第三输出和第四输出分别提供给相应神经网络的随后的相应层之前的相应第三层和第四层的相应输出。第三输出和第四输出是分别基于第二训练数据和第一训练数据。所述方法还包括：基于比较来确定对第三层的一个或多个权重的第二调整；以及基于对第一调整和第二调整两者的考虑来调整第三层的一个或多个权重。在又一个方面，设备包括至少一个计算机存储装置，所述计算机存储装置不是瞬时信号并且包括可由至少一个处理器执行的指令。所述指令可执行以：访问与第一域种类相关联的第一域；访问与不同于第一域种类的第二域种类相关联的第二域；使用提供给第一域和第二域的训练数据对目标数据集进行分类；以及输出目标数据集的分类。本申请的关于其结构和操作两者的细节可参考附图得到最好的理解，在附图中相同的附图标记指代相同的部分，并且在附图中：附图说明图1是符合本专利技术原理的示例系统的框图；图2、图3、图5、图7、图9、图10、图14和图16是符合本专利技术原理的示例逻辑的流程图；图4、图6、图8、图11、图13、图15和图18示出了根据本专利技术原理的各种域适配架构的示例；以及图12和图17是示出了本专利技术原理的示例表。具体实施方式根据本专利技术原理，基于深度学习的域适配方法可以用于克服针对与图像或视频或音频有关的任务的域失配问题，诸如在给定任何源和目标域数据的情况下的理解/检测/分类。可以使用至少三种通用类型的数据(图像或视频或音频)，并且可以使用所有类型的神经网络模块来改进系统性能。如本文所述，深度学习处理流程的两个轨迹可以用于任何特定的输入到输出任务。一个轨迹可以用于一个数据域，而另一轨迹可以用于另一数据域，使得对于两个数据域可以至少存在深度学习的两个轨迹。例如，一对域可以是两种类型的视频，如真实世界视频和视频游戏世界视频、一个说话者的语音和另一个说话者的语音、标准字体文本和草书、语音识别域、文本到语音以及语音到文本。通用域适配模块将在下面描述，有时会使用损失函数。通用域适配模块还可以使用实际神经网络连接，所述连接从深度学习的两个轨迹获取来自多个输出点的输本文档来自技高网...

【技术保护点】
1.一种设备，其包括：/n至少一个处理器；以及/n至少一个计算机存储装置，其不是瞬时信号并且包括指令，所述指令能够由所述至少一个处理器执行以：/n访问第一神经网络，所述第一神经网络与第一数据类型相关联；/n访问第二神经网络，所述第二神经网络与不同于所述第一数据类型的第二数据类型相关联；/n将第一训练数据作为输入提供给所述第一神经网络；/n将第二训练数据作为输入提供给所述第二神经网络，所述第一训练数据不同于所述第二训练数据；/n识别来自第一层的第一输出，所述第一层是所述第一神经网络的输出层，所述第一输出是基于所述第一训练数据；/n识别来自第二层的第二输出，所述第二层是所述第二神经网络的输出层，所述第二输出是基于所述第二训练数据；/n基于所述第一输出和所述第二输出，确定对第三层的一个或多个权重的第一调整，所述第三层是所述第二神经网络的中间层；/n选择所述第三层和第四层，所述第四层是所述第一神经网络的中间层，所述第三层和所述第四层是平行的中间层；/n将来自所述第三层的第三输出与来自所述第四层的第四输出进行比较，所述第三输出和所述第四输出是在将所述第三输出和所述第四输出分别提供给相应的所述神经网络的随后的相应层之前的相应的所述第三层和所述第四层的相应输出，所述第三输出和所述第四输出是分别基于所述第二训练数据和所述第一训练数据；/n基于所述比较，确定对所述第三层的所述一个或多个权重的第二调整；以及/n基于对所述第一调整和所述第二调整两者的考虑来调整所述第三层的所述一个或多个权重。/n...

【技术特征摘要】
【国外来华专利技术】20181031 US 16/176,7751.一种设备，其包括：
至少一个处理器；以及
至少一个计算机存储装置，其不是瞬时信号并且包括指令，所述指令能够由所述至少一个处理器执行以：
访问第一神经网络，所述第一神经网络与第一数据类型相关联；
访问第二神经网络，所述第二神经网络与不同于所述第一数据类型的第二数据类型相关联；
将第一训练数据作为输入提供给所述第一神经网络；
将第二训练数据作为输入提供给所述第二神经网络，所述第一训练数据不同于所述第二训练数据；
识别来自第一层的第一输出，所述第一层是所述第一神经网络的输出层，所述第一输出是基于所述第一训练数据；
识别来自第二层的第二输出，所述第二层是所述第二神经网络的输出层，所述第二输出是基于所述第二训练数据；
基于所述第一输出和所述第二输出，确定对第三层的一个或多个权重的第一调整，所述第三层是所述第二神经网络的中间层；
选择所述第三层和第四层，所述第四层是所述第一神经网络的中间层，所述第三层和所述第四层是平行的中间层；
将来自所述第三层的第三输出与来自所述第四层的第四输出进行比较，所述第三输出和所述第四输出是在将所述第三输出和所述第四输出分别提供给相应的所述神经网络的随后的相应层之前的相应的所述第三层和所述第四层的相应输出，所述第三输出和所述第四输出是分别基于所述第二训练数据和所述第一训练数据；
基于所述比较，确定对所述第三层的所述一个或多个权重的第二调整；以及
基于对所述第一调整和所述第二调整两者的考虑来调整所述第三层的所述一个或多个权重。


2.根据权利要求1所述的设备，其中在将所述第二训练数据提供给所述第二神经网络之前，通过所述第一神经网络的副本建立所述第二神经网络。


3.根据权利要求1所述的设备，其中所述第三层和所述第四层是除输出层之外的层。


4.根据权利要求3所述的设备，其中所述第三层和所述第四层是相应的所述神经网络的中间隐藏层。


5.根据权利要求1所述的设备，其中所述第一训练数据与所述第二训练数据相关。


6.根据权利要求5所述的设备，其中所述第一神经网络和所述第二神经网络与动作识别有关，并且其中所述第一训练数据与所述第二训练数据相关，因为所述第一训练数据和所述第二训练数据两者都与同一动作有关。


7.根据权利要求5所述的设备，其中所述第一神经网络和所述第二神经网络与对象识别有关，并且其中所述第一训练数据与所述第二训练数据相关，因为所述第一训练数据和所述第二训练数据两者都与同一对象有关。


8.根据权利要求1所述的设备，其中所述指令能够由所述至少一个处理器执行以：
将所述第三输出与所述第四输出进行比较以确定所述第三输出与所述第四输出的相似度，所述相似度是使用第一函数评估的。


9.根据权利要求8所述的设备，其中对所述第三层的所述一个或多个权重的所述第一调整的所述确定是基于与所述第一函数不同的第二函数。


10.根据权利要求9所述的设备，其中所述第一函数和所述第二函数是差异函数。


11.一种方法，其包括...

【专利技术属性】
技术研发人员：R陈，MH陈，J俞，X刘，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：日本;JP