深度平衡流估计制造技术

提供了深度平衡流估计一种用于机器学习(ML)系统的计算机实现方法包括：从传感器接收第一图像帧和第二图像帧，其中第一图像帧和第二图像帧是时间序列数据；确定第一图像帧的第一流状态和第一潜在状态；基于第一流状态、第一潜在状态和层函数通过根查找方法来确定基于深度平衡模型(DEQ)的固定点解，以获得估计的流状态和估计的潜在状态；接收第三图像帧，其中第二图像帧和第三图像帧是时间序列数据；基于估计的流状态、估计的潜在状态和层函数通过根查找方法来确定固定点解，以获得更新后的流状态和更新后的潜在状态；以及输出更新后的流状态。流状态。流状态。

【技术实现步骤摘要】
深度平衡流估计


[0001]本公开涉及通过具有机器学习能力的计算机系统(包括神经网络)进行流估计。在具体实施例中，本公开涉及通过根查找方法进行通过基于深度平衡(DEQ)神经网络模型的固定点求解来进行流估计。

技术介绍

[0002]神经网络是机器学习的子集，并且是深度学习算法的关键。神经网络包括包含输入层、一个或多个隐藏层和输出层的节点层。每个节点连接到另一个节点，并具有关联的权重和阈值。如果任何个体节点的输出高于阈值，则激活该节点，将数据发送到网络的下一层。
[0003]最近在神经网络的虑式层方面取得了进展。隐式层的基础是，不是指定如何从输入计算层的输出，而是指定希望层的输出满足的条件。
[0004]一类隐式层模型是深度平衡(DEQ)模型。DEQ建模包括指定一个层，该层查找某个迭代过程的固定点。多尺度深度平衡模型(MDEQ)直接求解并同时反向传播多个特征分辨率的平衡点，使用隐式微分来避免存储中间状态。

技术实现思路

[0005]根据一个实施例，一种用于机器学习(ML)系统的计算机实现方法包括：从传感器接收第一图像帧和第二图像帧，其中第一和第二图像帧是时间序列数据；确定第一图像帧的第一流状态和第一潜在状态；基于第一流状态、第一潜在状态和层函数通过根查找方法来确定基于深度平衡模型(DEQ)的固定点解，以获得估计的流状态和估计的潜在状态；接收第三图像帧，其中第二和第三图像帧是时间序列数据；基于估计的流状态、估计的潜在状态和层函数通过根查找方法来确定固定点解，以获得更新后的流状态和更新后的潜在状态；以及输出更新后的流状态。
[0006]根据另一实施例，一种包括可训练函数的系统包括：用于访问可训练函数的输入数据的输入接口；以及与输入接口通信的处理器。处理器被编程为：从与输入接口电耦合的传感器接收第一图像帧和第二图像帧，其中第一和第二图像帧是时间序列数据；确定第一图像帧的第一流状态和第一潜在状态；基于第一流状态、第一潜在状态和层函数通过根查找方法确定固定点解，以获得估计的流状态和估计的潜在状态；接收第三图像帧，其中第二和第三图像帧是时间序列数据；基于估计的流状态、估计的潜在状态和层函数通过根查找方法确定固定点解，以获得更新后的流状态和更新后的潜在状态；以及基于更新后的流状态来控制所述系统。
[0007]根据另一实施例，一种非暂时性计算机可读介质包括指令，当由一个或多个计算设备执行时，所述指令使得一个或多个计算设备执行操作，包括：从传感器接收第一图像帧和第二图像帧，其中第一和第二图像帧是时间序列数据；确定第一图像帧的第一流状态和第一潜在状态；基于第一流状态、第一潜在状态和层函数通过根查找方法来确定基于深度
平衡模型(DEQ)的固定点解，以获得估计的流状态和估计的潜在状态；接收第三图像帧，其中第二和第三图像帧是时间序列数据；基于估计的流状态、估计的潜在状态和层函数通过根查找方法来确定固定点解，以获得更新后的流状态和更新后的潜在状态；以及输出更新后的流状态。
附图说明
[0008]图1示出了根据实施例的用于训练神经网络的系统。
[0009]图2示出了根据实施例的用于训练和利用神经网络的计算机实现的方法。
[0010]图3A是根据实施例的在诸如深度平衡模型(DEQ)的机器学习系统中通过根查找方法进行固定点求解的图形流程图。
[0011]图3B是根据实施例的在诸如深度平衡模型(DEQ)的机器学习系统中通过根查找方法进行固定点求解的另一个图形流程图。
[0012]图4A是DEQ和递归流估计器在Sintel视频的50帧上关于迭代的前向收敛的比较的图形表示。
[0013]图4B是关于不同模型的训练记忆和推理时间的图形表示。
[0014]图4C
‑
4D是使用Anderson求解器的训练DEQ关于频率的平均端点误差(AEPE)和收敛稳定性的图形表示。
[0015]图4E
‑
4F是使用Broyden求解器的训练DEQ关于频率的平均端点误差(AEPE)和收敛稳定性的图形表示。
[0016]图5描绘了根据实施例的计算机控制机器和控制系统之间的交互的示意图。
[0017]图6描绘了根据实施例的图5的控制系统的示意图，该控制系统配置为控制载具，该载具可以是部分自主载具、完全自主载具、部分自主机器人或完全自主机器人。
[0018]图7描绘了图5的控制系统的示意图，该控制系统被配置为控制制造系统(例如生产线的一部分)的制造机器，例如冲头切割机、切割机或枪钻。
[0019]图8描绘了图5的控制系统的示意图，该控制系统被配置为控制具有至少部分自主模式的电动工具，例如电钻或驱动器。
[0020]图9描绘了配置为控制自动个人助理的图5的控制系统的示意图。
[0021]图10描绘了图5的控制系统的示意图，该控制系统被配置为控制监控系统，例如控制访问系统或监督系统。
[0022]图11描绘了图5的控制系统的示意图，该控制系统被配置为控制成像系统，例如MRI装置、x射线成像装置或超声波装置。
具体实施方式
[0023]本文描述本公开的实施例。然而，应理解，所公开的实施例仅仅是示例，并且其他实施例可以采取各种和替代形式。附图不一定是按比例的；一些附图可以被放大或最小化以示出特定组件的细节。因此，本文公开的特定结构和功能细节不应被解释为限制性的，而仅仅是作为教导本领域技术人员以不同方式采用各种实施例的代表性基础。如本领域普通技术人员将理解的，参考任一附图所示和描述的各种特征可以与一个或多个其他附图中所示的特征相组合，以产生未明确示出或描述的实施例。所示特征的组合为典型应用提供了
代表性实施例。然而，对于特定应用或实现，与本公开的教导一致的特征的各种组合和修改可以是合乎期望的。
[0024]本文中可以使用术语“基本上”来描述公开或要求保护的实施例。术语“基本上”可以修改在本公开中公开或要求保护的值或相对特性。在这种情况下，“基本上”可以表示其修改的值或相对特性在值或相对特性的
±
0％、0.1％、0.5％、1％、2％、3％、4％、5％或10％内。
[0025]术语传感器是指检测或测量物理属性并记录、指示或以其他方式响应物理属性的设备。术语传感器包括光学、光、成像或光子传感器(例如，电荷耦合器件(CCD)、CMOS有源像素传感器(APS)、红外传感器(IR)、CMOS传感器)、声学、声音或振动传感器(例如麦克风、检波器、压敏检波器)、汽车传感器(例如，轮速、停车、雷达、氧气、盲点、扭矩、激光雷达)、化学传感器(例如离子敏感场效应晶体管(ISFET)、氧气、二氧化碳、化学电阻、全息传感器)、电流、电势、磁或射频传感器(例如霍尔效应、磁强计、磁阻、法拉第杯、电流计)、环境，天气、湿气或湿度传感器(例如，天气雷达、光强计)、流或流体速度传感器(例如质量空气流传感器、风速计)、电离辐射或亚原子粒子传感器(例如电离室、盖革计数器、中子检测器)、导航传感器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于机器学习(ML)系统的计算机实现方法，包括：从传感器接收第一图像帧和第二图像帧，其中第一图像帧和第二图像帧是时间序列数据；确定第一图像帧的第一流状态和第一潜在状态；基于第一流状态、第一潜在状态和层函数通过根查找方法来确定基于深度平衡模型(DEQ)的固定点解，以获得估计的流状态和估计的潜在状态；接收第三图像帧，其中第二图像帧和第三图像帧是时间序列数据；基于估计的流状态、估计的潜在状态和层函数通过根查找方法来确定固定点解，以获得更新后的流状态和更新后的潜在状态；以及输出更新后的流状态。2.根据权利要求1所述的方法，其中固定点解表示为：(h
*
，f
*
)＝z
*
＝f
θ
(z
*
，x)＝f
θ
((h
*
，f
*
)，x)，其中：h
*
＝ConvGRU(h
*
，[x，q])f
*
＝f
*
+Conv2d(h
*
)，并且f
θ
是层函数。3.根据权利要求1所述的方法，进一步包括估计对象相对于ML系统的运动，并基于更新后的流状态控制ML系统的致动器，其中ML系统是半自主载具或自主载具。4.根据权利要求1所述的方法，进一步包括估计对象相对于ML系统的运动，并基于更新后的流状态控制ML系统的致动器，其中ML系统是安全系统。5.根据权利要求1所述的方法，其中根查找方法是准牛顿方法。6.根据权利要求5所述的方法，其中准牛顿方法是Anderson求解器或Broyden求解器。7.根据权利要求1所述的方法，其中传感器是视频相机、红外相机、激光雷达传感器、超声波传感器或声学阵列。8.根据权利要求1所述的方法，其中利用多个图像帧和经由基于深度平衡模型(DEQ)通过根查找方法进行的固定点求解处理的相关联流数据来训练层函数，以获得训练流状态和训练潜在状态数据，所述训练流状态和训练潜在状态数据与多个图像帧和相关联流数据的基本真值进行比较以获得损耗，并且使用隐函数定理(IFT)基于损耗梯度来更新层函数。9.根据权利要求8所述的方法，其中损耗包括主损耗和校正损耗。10.一种设备控制系统，包括：控制器，被配置为从传感器接收第一图像帧和第二图像帧，其中第一图像帧和第二图像帧是时间序列数据；确定第一图像帧的第一流状态和第一潜在状态；以及基于第一流状态、第一潜在状态和层函数通过根查找方法来确定固定点解，以获得估计的流状态和估计的潜在状态；接收第三图像帧，其中第二图像帧和第三图像帧是时间序列数据；
基于估计的流状态、估计的潜在状态和层函数通过根查找方法来确定固定点解，以获得更新后的流状态和更新后的潜在状态；以及基于更新后的流状态来控制系统。11.根据权利要求10所述的系统，其中固定点解是基于深度平衡模型(DEQ)的固定点解，其表示为：(h
*
，f
*
)＝z
*
＝f
θ
(z
*
，x)＝f
θ
((h
*
，f
*
)，x)，其中：x＝Conv2d([q，f
*

【专利技术属性】
技术研发人员：白绍杰，Y，
申请(专利权)人：罗伯特，
类型：发明
国别省市：