描述了一种编码器神经网络，其可以对诸如视频帧的数据项进行编码以形成相应的编码数据项。通过确定第二序列的哪个编码数据项最接近从第一序列的每个数据项产生的编码数据项，第一数据序列的数据项与第二序列的相应数据项相关联。因此，两个数据序列被对齐。通过连续增加数据序列对之间的周期一致性的迭代过程，使用数据序列的训练集对编码器神经网络进行自动训练。自动训练。自动训练。
【技术实现步骤摘要】
【国外来华专利技术】通过生成数据项的编码表示来对齐序列
技术介绍
[0001]本说明书涉及用于训练编码器神经网络以对数据项(例如，视频帧)进行编码以产生相应的编码数据项的方法和系统。其还涉及将编码器神经网络用于诸如对齐数据项的序列，搜索多个数据项的集合，注释数据项并将数据项分类为多个类别之一的目的。
[0002]神经网络是机器学习模型，其使用一层或多层非线性单元来预测针对接收到的输入的输出。一些神经网络除输出层外还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一个层，即下一个隐藏层或输出层的输入。网络的每一层根据对应的参数集合的当前值，从接收到的输入中生成输出。
[0003]一些神经网络是递归神经网络。递归神经网络是一种神经网络，其接收输入序列并从该输入序列生成输出序列。特别地，递归神经网络可以在计算当前时间步骤的输出时使用来自先前时间步骤的网络的一些或全部内部状态。递归神经网络的示例是包括一个或多个LSTM存储器块的长短期记忆(LSTM)神经网络。每个LSTM存储器块可以包括一个或多个单元，每个单元包括输入门、忘记门和输出门，其允许该单元存储该单元的先前状态，例如，用于生成当前激活或提供给LSTM神经网络的其他组件。
技术实现思路
[0004]本说明书描述了一种系统，该系统可以被实现为一个或多个位置中的一个或多个计算机上的一个或多个计算机程序，以及由该系统执行的方法。
[0005]在第一方面，描述了一种编码器神经网络，其可以对作为数据项序列(“数据序列”)之一的数据项进行编码，以形成对应的编码数据项。(例如，通过创建链接相关数据项的元数据的数据库)通过为第一数据序列的每个数据项确定，第二序列的哪个编码数据项最接近从第一序列的数据项产生的编码数据项，第一序列的一个或多个数据项可以与第二序列的对应数据项对齐(即与之关联)。
[0006]这里，“最接近”被定义为具有最小的距离值，其中，“距离值”是根据诸如欧几里得距离的距离度量来定义的(即，两个编码数据项的距离值是编码数据项的一个分量与另一个编码数据项的相应分量之间的差的平方的编码数据项之一的分量上的总和的平方根)。在该方法的其他形式中，可以使用另一距离度量，例如曼哈顿距离。
[0007]在优选的情况下，每个数据序列的数据项可以描述环境中在对应连续时间的对应事件。对于不同的对应数据序列，这可以是不同的环境，或者数据序列可以替代地在单个环境中描述不同的相应时段，例如，当环境中存在不同的人时。因此，对应数据序列中的数据项的关联使对应数据序列中的事件关联。特别地，编码器神经网络可以用于关联具有相同重要性的对应数据序列的事件(即，单一类型的事件)。可以使用多个(例如，大量)数据序列来训练编码器网络，每个数据序列描述发生至少一种给定类型的事件的对应时段期间的环境。从而训练编码器神经网络以识别这种类型的事件是重要的，并且在新的数据序列中识别这种类型的事件。
[0008]该环境可以是真实的或模拟的。例如，数据序列中的至少一个可由数据项组成，这
些数据项是在事件发生时的连续时间的对应的序列处由一个或多个传感器(例如，相机)捕获的真实世界数据(即，描述真实世界环境)。
[0009]例如，数据项可以是由相机捕获的图像(例如，视频帧)，其示出了在环境中移动的人类和/或非人类参与者，并且在这种情况下，数据序列可以是视频序列。在这种情况下，事件可以包括参与者在相应环境中的位置和/或运动。在另一示例中，数据项可以(附加地或替代地)包括由麦克风捕获的声音数据，并且在这种情况下事件可以是特定单词的说话。
[0010]数据序列中数据项的对应数目可以不同(例如，第一数据项比第二数据项多，反之亦然)。替代地或附加地，一种类型的事件可以在对应序列中的每个序列中以不同的定时发生。例如，环境中的参与者可以在由一个数据序列描述的时段的开始附近，然后在由另一数据序列描述的时段之后，执行某种类型的动作。
[0011]在数据序列的对齐之后，与序列之一的数据项相关联的注释数据(例如，文本标签或另一数据文件，诸如音频数据的一部分)可以与其他数据序列的相应的对齐的数据项相关联。这提供了一种计算有效的方式来生成针对其他数据序列的注释数据，而无需人工干预。
[0012]此过程的一个示例是视频数据的自动注释。在这种情况下，注释数据可以包括文本和/或图像，这些文本和/或图像可以与视频数据结合呈现给观看者。文本和/或图像可能例如解释了视频序列中一部分示出的一个或多个事件(例如，示出棒球比赛的视频序列中的“投手投球”)。更一般而言，如果视频序列描述的是一个或多个人从事一项活动，包括多个阶段(例如，在两个事件之间的时段定义的阶段)，则注释数据可以指定任何给定的数据项与活动的哪个阶段有关(例如视频序列的帧)。替代地，文本和/或图像可以提供与视频序列的内容有关的广告数据(“可以从商店XXX获得投手制服”)。
[0013]可选地，可以在捕获数据序列之一的同时进行对齐方法(例如，对齐方法的步骤与数据捕获步骤同时进行，和/或对齐方法的步骤与数据捕获交错进行)。例如，当逐数据项捕获第一数据序列时，可以对第一数据序列的每个连续的第一数据项执行对齐方法，以将第一数据项与第二序列的数据项之一相关联，并且对齐可以在捕获第一序列的下一个数据项的同时针对每个第一数据项发生。然后，可以将赋予第二序列的数据项的注释数据赋予第一序列的关联数据项。这提供了一种实时方法，该方法可以生成注释数据以在捕获传感器数据时对其进行注释。
[0014]此过程的一个示例是，如果第一数据项是表征真实世界环境的传感器数据，并且在捕获传感器数据时，将生成相应的注释数据，并将其用于生成控制数据以修改环境，例如，通过在环境中移动(例如，在环境中移动工具)来控制在环境中运行的代理。例如，控制数据可以通过控制神经网络基于注释的数据并且可选地还基于第一数据项和/或从第一数据项产生的编码数据项来生成。可选地，控制神经网络可以基于奖励而被连续地细化，该奖励是使用取决于控制数据的奖励函数计算的，该奖励函数指示控制数据对代理执行任务的控制程度。换句话说，本方法可以用作强化学习过程的一部分。例如，注释数据可以用于识别在现实环境中已经到达任务的多个阶段中的哪个阶段。基于确定的阶段，细化控制神经网络的过程可能会有所不同。例如，基于所确定的阶段，可以使用不同的对应奖励函数来执行奖励的计算。
[0015]在一些实现方式中，该代理是与真实世界环境交互的机电代理。例如，代理可以是
与环境交互以完成特定任务的机器人或其他静态或移动机器，例如，将感兴趣的对象定位在环境中或将感兴趣的对象移动到环境中的指定位置或导航到环境中的指定目的地；或代理可以是在环境中航行的自主或半自主的陆地或空中或海上交通工具。在某些其他应用中，代理可以控制真实世界环境中的动作，包括例如数据中心或电网干线的电力或水分配系统，或制造工厂或服务设施中的设备的项目。然后，观察可能与工厂或设施的运行有关。例如，观察可以包括对由设备使用的电力或水的观察，或者对发电或分配控制的观察，或者对资源使用或废物产生的观本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种使用单个编码器神经网络对齐事件的两个数据序列的方法，第一数据序列是第一数据项的序列，以及第二数据序列是第二数据项的序列，所述第一数据项表征在连续的第一时间在第一环境中发生的对应第一事件，以及所述第二数据项目表征在连续的第二时间在第二环境中发生的对应第二事件，所述方法包括以下步骤：利用编码器神经网络对所述第一数据序列进行编码，以从每个第一数据项中形成对应的第一编码数据项；利用所述编码器神经网络对所述第二数据序列进行编码，以从每个第二数据项中形成对应的第二编码数据项；以及对于至少一个所述第一数据项：(i)对于多个所述第二数据项中的每一个，根据距离度量确定指示所述对应的第一编码数据项和所述对应的第二编码数据项之间的距离的相应距离值；(ii)确定所述对应的距离值最低的多个第二数据项中的一个；以及(iii)将所述第一数据项和确定的所述第二数据项中的一个第二数据项相关联，以将所述对应的第一事件与所述对应的第二事件相关联。2.根据权利要求1所述的方法，包括将赋予所述数据序列中的一个数据序列的一个或多个数据项的注释数据赋予所述数据序列中的另一数据序列的相应的关联数据项。3.根据权利要求1或权利要求2所述的方法，其中，在所述第一数据序列的数据项是由至少一个传感器连续捕获并表征连续时间的真实世界环境的数据集的同时，执行所述步骤。4.根据权利要求3所述的方法，还包括：响应于捕获所述第一数据序列的数据项，并将所述第一数据项与所确定的第二数据项中的一个第二数据线相关联，识别与确定的所述第二数据项中的一个第二数据项相关联的注释数据，使用所述注释数据生成控制信号，以及基于所述控制信号，修改所述现实世界环境。5.根据前述权利要求中的任一项所述的方法，其中，所述数据序列中的每一个是视频序列，所述第一数据项和所述第二数据项均包括由至少一个视频相机捕获的图像数据，并且定义了对应的视频序列的至少一个相应的帧。6.根据前述权利要求中的任一项所述的方法，还包括确定所述距离值中的一个或多个是否满足异常标准，以及如果满足所述标准，则发送警告消息。7.一种训练编码器神经网络的方法，所述编码器神经网络具有多个网络参数并且被配置为接收输入数据项并处理所述输入数据项以根据所述网络参数从所述输入数据项生成编码数据项，所述方法包括：获得包括数据项序列的多个数据序列；以及不止一次地执行以下步骤：使用所述编码器神经网络为第一数据序列的每个数据项和第二数据序列的每个数据项获得相应的编码数据项；形成与周期一致性值相反地变化的成本函数，所述周期一致性值是对于所述第一数据序列的给定数据项，所述给定数据项是所述第一数据序列的数据项的可能性的指示，其中，对于所述数据项，根据对所述第二数据序列的特定数据项的编码数据项的距离度量所述相
应的编码数据项是最接近的，所述特定数据项是所述第二数据序列的数据项，对于所述数据项，根据对所述给定数据项的编码数据项的距离度量所述相应的编码数据项是最接近的；以及执行神经网络训练过程的迭代，以确定对所述网络参数的当前值的更新，所述更新会降低所述成本函数。8.根据权利要求7所述的方法，其中，所述距离度量是所述...
【专利技术属性】
技术研发人员：优素福，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。