使用基于图的时间分类训练神经网络制造技术

提供了一种用于使用由代表标签和标签之间的转移的边连接的节点的有向图，用基于图的时间分类(GTC)目标函数来训练神经网络的方法。有向图指定了标签序列和概率分布序列之间的非单调对齐以及对标签重复的约束中的一种或组合。该方法包括：实施神经网络，以将观察序列变换为概率分布序列；以及基于GTC目标函数更新神经网络的参数，GTC目标函数被配置为使通过将有向图展开到观察序列的长度并将每个展开的节点和边的序列映射到可能的标签序列而生成的所有可能的标签序列的条件概率之和最大化。最大化。最大化。

【技术实现步骤摘要】
【国外来华专利技术】使用基于图的时间分类训练神经网络


[0001]本专利技术总体上涉及训练神经网络，并且更具体地，涉及使用基于图的时间分类(GTC)目标来训练神经网络的方法。

技术介绍

[0002]神经网络可以再现和建模非线性过程，因此在过去几十年中，神经网络已被用于各种学科的众多应用中。神经网络可以通过处理示例来学习(或被训练)，每个示例含有已知的“输入”和“结果”，在已知的“输入”和“结果”两者之间形成概率加权关联，这些存储在网(net)本身的数据结构中。来自给定示例的神经网络的训练通常通过确定网络的处理输出(通常是预测)和在本文中也被称为训练标签的目标输出之间的差异来进行。这种差异代表了训练旨在减少的错误。因此，网络然后根据学习规则并使用此错误值调整其加权关联。逐次调整将使神经网络产生与目标输出越来越相似的输出。经过足够数量的这些调整后，可以基于一定标准终止训练。
[0003]这种类型的训练通常被称为监督学习。在监督学习期间，神经网络通过考虑示例来“学习”执行任务，通常无需用特定于任务的规则来编程。例如，在图像识别中，它们可能通过分析已经被标注为“猫”或“不是猫”的示例图像并使用结果来识别其它图像中的猫来学习识别含有猫的图像。它们在没有猫的任何先验知识(例如，它们有毛皮、尾巴、胡须和类似猫的脸)的情况下做这些。相反，它们从它们处理的示例自动生成识别特征。

技术实现思路

[0004]技术问题
[0005]然而，要执行此类监督学习，需要将图像标注为猫或狗。这种标注是乏味和费力的过程。此外，在此图像识别示例中，标注是无歧义的。图像含有猫、狗或者不含有猫或狗。这种无歧义的标签并不总是可行的。例如，一些训练应用处理其中定时可变的序列问题。时间变量可以在其中输入序列具有不同于输出序列的长度的这种训练中创建一对多或多对一的歧义。
[0006]具体来说，一些训练神经网络的方法使用连接主义时间分类(CTC)目标函数算法。CTC是在训练标签序列与根据输入到神经网络的观察序列而计算出的、由神经网络输出的更长的标签概率序列之间没有可用的时间对齐信息时训练神经网络所使用的损失函数。这种缺失的时间对齐信息在神经网络输出的标签概率序列与作为使用CTC目标函数可以求解的训练标签序列的、用于训练的监督信息之间创建了时间歧义。
[0007]然而，CTC目标函数仅适用于解决神经网络训练期间的时间歧义。如果需要考虑其它类型的歧义，则CTC目标函数将失败。
[0008]技术方案
[0009]一些实施方式基于以下认识：CTC目标函数的原理非常适用于一些情况但不适用于其它情况。具体来说，CTC目标函数正在使用插入到用于训练的训练标签序列中的每个训
练标签之前和之后的附加空白标签。此外，CTC允许无限标签重复，并使用特定规则以从一个标签转移到另一标签。通过遵循CTC规则，包含空白标签的标签序列可以扩展到观察序列的长度。这种扩展允许在训练期间考虑时间对齐。存在使用CTC规则可以将标签序列扩展到观察序列的长度的多种方法。然而，所有这些方法仅适用于在时间上对齐特定标签序列，而在其它情况下会失败。
[0010]然而，一些实施方式基于以下认识：现代应用的复杂性不仅限于解决时间歧义的时间对齐。例如，在一些情况下，训练标签本身的定义是有歧义的，因此训练不仅需要解决时间歧义而且需要解决标签歧义。例如，当以自动方式产生训练标签时，可能出现标签歧义。事实上，当由人类操作员手动产生训练标签时，标签可以做得精确、准确，并且可以被视为真实的。然而，当以自动化方式产生标签时，例如在半监督学习中，标签的准确性是不确定的。此外，即使由人类操作标注期间，标注过程也可能非常费力，有时只能部分地执行(例如在弱标签情况下)，从而造成标签歧义。附加地或另选地，人类操作员也可能对标签序列内的一个或更多个特定标签不确定，并且对于它们不确定的每个标签，使用通配符标签或潜在标签的集合而不是单个标签。
[0011]为此，一些实施方式的目的是变换CTC目标的原理以提供不仅适用于时间对齐而且适用于标签对齐和/或其它目的的不同的训练目标函数。
[0012]一些实施方式基于以下认识：CTC目标的规则强制在由神经网络输出的标签概率序列与标签序列之间的单调对齐，从而防止标签对齐。这不应该让人感到惊讶，因为单调对齐对应于解决一维歧义，即，时域中的歧义。此外，用于插入空白标签和用于从标签序列中的一个标签转移到另一标签的特定CTC规则可以表示为图。CTC不考虑图，但如果考虑的话，对于CTC，这样的图将是有向图，该有向图将可以访问标签的顺序固定，使得仅允许由神经网络输出的标签概率序列与标签序列之间的单调对齐。虽然CTC目标和/或CTC规则的定义不是基于图的，但一些实施方式是基于以下认识：CTC目标的问题或限制可以通过有向图来例示并使用基于图的定义来解决。
[0013]具体而言，如果CTC规则使训练标签序列的监督信息驻留在强制由神经网络生成的标签概率序列与训练标签序列之间单调对齐的有向图上，则一些实施方式通过使用用于利用有向图进行训练的监督信息来打破单调对齐规则来改变此限制。虽然具有单调对齐规则的有向图允许仅在时间维度上的变化，但是有向图的非单调特征允许在时间维度和标签维度二者上的变化，以在训练期间考虑不同的标签序列。因此，训练目标将不再是CTC，并且本文称为基于图的时间分类(GTC)目标。
[0014]为此，一些实施方式公开了使用驻留在具有非单调对齐属性的非单调有向图上的监督信息用GTC目标来训练神经网络。可以参照单调对齐属性来说明非单调对齐属性。图的单调性或单调对齐属性由在去除标签重复和空白标签后，可通过从特定开始节点转移到特定结束节点而从图生成的标签序列的数量来定义。
[0015]如本文所定义的，具有单调对齐属性的图(诸如将遵循CTC规则的图)只能输出单个标签序列，而具有非单调对齐属性的图可以输出多个不同的标签序列。也如本文所定义的，并且如本领域技术人员通常理解的，具有在时间上不同布置的相同标签次序或具有不同的空白标签填充的标签序列被认为是相同的标签序列并且被本公开视为单个标签序列。例如，按照CTC的定义，在去除复制标签重复然后空白标签产生作为输入到CTC目标的训练
标签序列的单一标签序列的坍缩过程之后填充的标签序列。在具有非单调对齐的GTC设置中，这样的坍缩可以和/或将产生多个标签序列。
[0016]为此，在一些实施方式中，具有非单调对齐的有向图的结构允许多个唯一标签序列将标签序列映射到概率分布序列。为了实现这种非单调对齐，形成有向图的节点和边的结构包括其中有向图中的至少一个节点通过边连接到代表不同的非空白标签的多个其它节点的多个非空白连接以及通过连接多个非空白节点的边所形成的环中的一种或者组合。
[0017]一些实施方式基于以下认识：在有向图上呈现监督信息允许应用不同的规则以按与这种训练的原理一致的方式来训练神经网络。这是因为有向图的结构与训练的前向
‑
后向算法所使用的可微分方法一致。因此，如果希望强制施加于训练的规本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，该方法用于使用来自由代表标签和标签之间的转移的边连接的节点的有向图的监督信息，用基于图的时间分类(GTC)目标函数训练神经网络，其中，所述有向图代表由神经网络输出的概率分布序列和标签的可能的对齐路径，其中，所述有向图的结构指定了标签序列和所述概率分布序列之间的非单调对齐以及所述标签序列中对标签重复的约束中的一种或组合，其中所述神经网络的输入是观察序列，并且所述神经网络的输出是在标签的集合中的所有标签上的所述概率分布序列，该方法包括以下步骤：实施所述神经网络，以将所述观察序列变换为所述概率分布序列；以及基于所述GTC目标函数更新所述神经网络的参数，所述GTC目标函数被配置为使通过将所述有向图展开到所述概率分布序列的长度并将每个展开的节点和边的序列映射到标签序列而生成的所有可能的标签序列的条件概率之和最大化，其中所有标签序列的条件概率之和是根据由所述神经网络确定的所述概率分布序列而估计的。2.根据权利要求1所述的方法，其中，所述有向图代表所述概率分布序列和所述标签序列的多个可能的对齐路径，使得可能通过所述有向图的结构允许多个唯一标签序列，其是在坍缩标签重复并且从所述多个唯一标签序列去除空白标签之后获得的，从而得到所述标签序列与所述概率分布序列之间的所述非单调对齐。3.根据权利要求2所述的方法，其中，通过允许从一个标签到多个其它非空白标签的转移、通过允许从一个标签到多个其它空白标签的转移、或两者，将所述非单调对齐编码在所述有向图的结构中。4.根据权利要求1所述的方法，其中，所述有向图的结构通过使到代表标签的节点的自转移被代表相同标签的已连接节点序列代替，来指定对标签重复的约束。5.根据权利要求1所述的方法，其中，所述有向图的展开包括根据所述有向图的结构生成不同的标签序列和对齐路径，使得每个所生成的标签序列的长度与所述概率分布序列的长度相匹配。6.根据权利要求1所述的方法，其中，用所述GTC目标函数的训练定义了基于所述条件概率的损失函数，并且其中，用所述GTC目标函数的训练使用梯度下降训练来更新所述神经网络的参数，以减小所述GTC损失。7.根据权利要求6所述的方法，其中，所述GTC目标函数通过定义了所述有向图中的所有有效标签对齐路径和所有有效时间对齐路径的展开的有向图，对所有可能的节点和边的序列进行边缘化，以参照这种监督信息来优化所述神经网络输出。8.根据权利要求1所述的方法，其中，所述有向图是具有与不同权重相关联的至少一些边的加权图，并且其中，所述训练使用所述有向图中相应边的权重和由所述神经网络估计出的所述概率分布，来计算所述节点序列的条件概率。9.根据权利要求8所述的方法，其中，所述有向图是具有与节点的转录输出在时间实例是真实转录输出的概率相对应的数值相关联的连接节点的边的加权有向图，其中，所述GTC目标函数被配置为学习时间对齐和标签对齐，以获得所述加权有向图所允许的最优标签序列，并且其中，所述使用GTC目标函数训练所述神经网络更新所述神经网络，以关于图格式的监
督信息和相关联的训练样本减小损失。10.根据权利要求9所述的方法，其中，对于梯度下降训练，所述GTC目标函数是关于所述神经网络的输出的微分。11.根据权利要求1所述的方法，该方法还包括以下步骤：接收多个标签序列；基于所述多个标签序列构建混淆网络，其中，所述混淆网络包括经由多条弧彼此连接的多个节点，并且其中，所述多条弧中的每条弧对应于具有标签的弧或没有标签的弧；优化所构建的混淆网络，以产生优化后的混淆网络；以及从所述优化后的混淆网络生成所述有向图。12.根据权利要求11所述的方法，其中，为了构建所述混淆网络，该方法还包括以下步骤：使用动态规划方法将所述多个标签序列彼此对齐，并且其中，所述动态规划方法使所述多个标签序列之间的编辑距离最小化。13.根据权利要求11所述的方法，其中...

【专利技术属性】
技术研发人员：N，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：