在跨联网计算边缘连续运行应用程序的人工智能和深度学习中实现连续的存储器有界学习的系统和方法技术方案

终身深度神经网络(L‑DNN)技术通过实现快速、后期部署学习来革新深度学习，无需广泛训练、大量计算资源或大量数据存储。它使用具有快速学习子系统(模块B)的富含表示的基于DNN的子系统(模块A)来快速学习新特征，而不会忘记先前学习到的特征。与常规DNN相比，L‑DNN使用更少的数据来建立稳固的网络，显著更短的训练时间，以及在装置上而不是在服务器上的学习。它无需重新训练或存储数据就能够添加新知识。结果，具有L‑DNN的边缘装置可以在部署之后连续不断地学习，消除数据收集和注释、存储器和数据存储以及计算能力方面的巨大成本。这种快速的本地装置上的学习可以用于安全、供应链监测、灾难和应急响应、基础设施和财产的基于无人机的检查及其他应用。

The system and method of continuous memory bounded learning in artificial intelligence and deep learning of applications running continuously across the edge of networked computing

【技术实现步骤摘要】
【国外来华专利技术】在跨联网计算边缘连续运行应用程序的人工智能和深度学习中实现连续的存储器有界学习的系统和方法相关申请的交叉引用本申请要求根据《美国法典》第35卷第119(e)条，于2017年12月31日提交的美国申请号62/612,529和2017年5月9日提交的美国申请号62/503,639的优先权权益。这些申请中的每一个以全文引用的方式并入本文中。
技术介绍
包括含有插入到输入层与输出层之间的许多神经元层的深度神经网络(DNN)的传统神经网络需要对特定数据集训练数千个或数百万个迭代循环。这些循环常常在高性能计算服务器中执行。事实上，取决于输入数据集的大小，一些传统的DNN可能需要几天或甚至几周的训练。用于训练DNN的一种技术涉及反向传播算法。反向传播算法通过应用链法则以便反向传播误差梯度，来从标记的数据集计算与误差梯度成比例的DNN中的所有权重的变化。反向传播对每个数据的权重进行小的变化，并且在多个阶段中在集合中的所有数据上运行。每个迭代循环采用的学习速率越大，损失函数的梯度将越可能稳定到局部最小值，而非全局最小值，这可能导致性能较差。为了提高损失函数将稳定到全局最小值的可能性，DNN降低学习速率，这会使每个训练阶段的权重有小变化。这增加了训练循环的次数和总学习时间。图形处理单元(GPU)技术的进步对于用来实现过去需要数周或数月的训练工作的高度并行操作带来计算能力的巨大改进。这些工作现在可以在数小时或数天内用GPU完成，但是对于实时知识更新而言，这仍然不够快。此外，利用高性能计算服务器来更新DNN提高了服务器价格和能耗方面的成本。这使得在运行时更新基于DNN的系统的知识极其困难，这种更新是许多实时操作情况期望的。此外，由于针对任何单个训练样本计算的损失函数的梯度(由于通常为分布式表示)可能影响网络中的所有权重，当标准DNN学习新对象时很容易忘记先前的知识。在多个阶段中重复展示相同的输入可缓解此问题，缺点是将新知识快速添加到系统是极其困难的。这是为何在计算有限的边缘装置(例如，手机、平板电脑或小型处理器)上学习不切实际或完全不可能的一种原因。即使遗忘问题得到解决，由于训练的高计算负载、小训练步长以及所有输入的重复呈现，因此在边缘装置上进行学习仍将不切实际。这些限制不仅适用于整个部署寿命中的单个计算边缘，其中，边缘可能需要更新其知识，还适用于分布式多边缘系统(例如，网络中连接的智能电话、联网智能相机、无人机或自动驾驶车辆的车队等)，其中快速共享新获取的知识是智能机构在其部署生命周期内的期望特性。运行反向传播算法的处理器计算在输出处每个神经元的误差贡献，并且通过网络层向后分配误差。通过计算损失函数的梯度来调整所有神经元的权重。因此，新的训练示例在不重新训练旧的示例的情况下无法添加至预先训练的网络，以免网络失去正确地对旧示例分类的能力。丧失正确分类旧示例的能力被称为“突然遗忘”。当结合实时操作机器考虑时，遗忘问题尤其相关，实时操作机器通常需要在运行的同时快速学习并在运行中并入新信息。为了学习知识，使用传统DNN的实时操作机器可能必须累积大量的数据以重新训练DNN。累积的数据从实时操作机器(即，装置本身，例如，自动驾驶汽车、无人机、机器人等)的“边缘”传输到中心服务器(例如，基于云的服务器)，以便获得来自操作者的标签，然后重新训练在边缘上执行的DNN。累积的数据越多，在时间和网络带宽方面，传输过程费用越高。另外，在中心服务器上的交错训练必须将新数据与在系统的整个生命周期存储的原始数据进行组合。这产生了严重的传输带宽和数据存储限制。总之，将常规基于反向传播的DNN训练应用于实时操作系统有以下缺点：a.在运行中用新知识更新系统是不可能的；b.不与服务器定期通信，且没有大量的知识更新等待时间，在边缘的整个部署周期中进行学习是不可能的；c.学习新信息需要服务器空间、能耗和磁盘空间消耗，以便无限地存储所有输入数据以用于进一步训练；d.无法在小型计算边缘装置上进行学习；以及e.不经过缓慢且昂贵的服务器端重新训练和重新部署，无法跨多个边缘归并知识。
技术实现思路
终身深度神经网络(L-DNN)使得能够在轻量级计算装置(边缘)中的人工神经网络(ANN)和深度神经网络(DNN)中进行连续、在线、终身学习，而不需要耗时的计算密集型学习。L-DNN使得能够从连续数据流进行实时学习，避开了存储输入数据以用于反向传播学习的多次迭代的需要。L-DNN技术将富集表示、基于DNN的子系统(模块A)与快速学习子系统(模块B)结合以实现对表示感兴趣的实体或事件的特征的快速但仍稳定的学习。这些特征集可通过慢速学习方法(例如，反向传播)进行预训练。在本公开中详细描述的基于DNN的情况中(对于模块A通过采用非DNN方法，其他特征描述是可能的)，DNN的高级特征提取层用作模块B中的快速学习系统的输入，以在运行时对熟悉的实体和事件进行分类，并且增加对陌生实体和事件的知识。模块B能够学习重要信息，并捕获环境的描述性和高度预测特征，而没有慢速学习的缺点。L-DNN技术可以应用于视觉、结构光、激光雷达、声纳、雷达或音频数据以及其他模式。对于视觉或类似数据，L-DNN技术可以应用于视觉处理，例如，实现全图像分类(例如，场景检测)，基于边界盒的对象识别，像素方式分割，以及其他视觉识别任务。L-DNN技术还可以执行非视觉识别任务，例如非视觉信号的分类及其他任务，诸如，当机器人、自动驾驶汽车、无人机或其他装置正通过环境时，通过渐进地增加知识来更新即时定位与地图创建(SLAM)生成的地图。随着L-DNN学习更多实体或事件(用视觉术语，“对象”或“类别”)，L-DNN中的内存合并使内存需求在模块B中得到控制。另外，L-DNN方法使得多边缘计算装置能够跨边缘归并他们的知识(或对输入数据分类的能力)。可以在点对点的基础上，通过在两个模块B之间直接交换神经网络表示，或经由将来自多个边缘的多个模块B的表示归并的中间服务器，来进行归并。最后，L-DDN不依赖于反向传播，由此显著地减少了使用新的输入数据更新L-DNN知识的训练时间、功率要求和计算资源。应了解，前述概念和下文更详细地论述的附加概念的所有组合(只要此类概念不相互矛盾)被认为是本文公开的本专利技术主题的一部分。具体地，在本公开的结束时出现的要求保护的主题的所有组合都被认为是本文公开的本专利技术主题的一部分。还应当理解，本文中明确使用的术语(也可以出现在通过引用并入的任何公开中)应当被赋予与本文公开的特定概念最一致的含义。通过查看以下附图和详细描述，其他系统、过程和特征对于所属领域的技术人员将变得显而易见。旨在将所有此类附加系统、过程和特征包括在本说明书中，在本专利技术的范围内，且受所附权利要求书的保护。附图说明技术人员将理解，附图主要是出于说明的目的，而不意图限制本文所描述的本专利技术主题的范围。附图未必按比例绘制；在一些情况下，本文公开的本专利技术主题的各个方面可在附图中被放大或扩大显示，以便于理解不同的特征。在附图中，类似本文档来自技高网...

【技术保护点】
1.一种分析环境中的对象的方法，所述方法包括：/n由传感器收集表示所述环境中的对象的数据流；/n用在可操作地耦合到所述传感器的处理器上运行的神经网络从所述数据流提取卷积输出，所述卷积输出表示所述对象的特征；以及/n用可操作地耦合到所述神经网络的分类器基于所述卷积输出对所述对象进行分类。/n

【技术特征摘要】
【国外来华专利技术】20170509 US 62/503,639;20171231 US 62/612,5291.一种分析环境中的对象的方法，所述方法包括：
由传感器收集表示所述环境中的对象的数据流；
用在可操作地耦合到所述传感器的处理器上运行的神经网络从所述数据流提取卷积输出，所述卷积输出表示所述对象的特征；以及
用可操作地耦合到所述神经网络的分类器基于所述卷积输出对所述对象进行分类。


2.根据权利要求1所述的方法，其中所述传感器是图像传感器，并且所述数据流包括图像。


3.根据权利要求2所述的方法，其中提取特征集包括：
生成第一图像的多个分段子区域；以及
由所述神经网络对所述多个分段子区域中的每一个分段子区域进行编码。


4.根据权利要求1所述的方法，其中提取特征集包括：
使得用户能够选择所述数据流中的感兴趣部分；
使得用户能够将所述感兴趣部分分割成多个区段；以及
由所述神经网络对所述多个区段中的每一个区段进行编码。


5.根据权利要求1所述的方法，其中所述传感器是以下中的至少一个：激光雷达、雷达或声传感器，并且所述数据流包括以下中的对应一个：激光雷达数据、雷达数据或声学数据。


6.一种设备，包括：
用于收集环境的数据流的传感器，所述数据流表示所述环境中的对象；以及
至少一个处理器，所述至少一个处理器可操作地耦合到图像传感器，所述至少一个处理器执行(i)神经网络以从所述数据流提取卷积输出，所述卷积输出表示所述对象的特征，以及(ii)分类器以基于所述卷积输出对所述对象进行分类。


7.根据权利要求6所述的设备，其中所述传感器包括以下中的至少一个：图像传感器、激光雷达、雷达或声传感器。


8.根据权利要求6所述的设备，其中所述神经网络包括深度神经网络(DNN)。


9.根据权利要求6所述的设备，其中所述神经网络包括自适应共振理论(ART)网络。


10.一种在实时操作机器中实施终身学习深度神经网络(L-DNN)的方法，所述方法包括：
由所述L-DNN基于(i)由传感器对所述实时操作机器的环境的观察，和(ii)先前确定的所述L-DNN的权重预测所述实时操作机器的第一动作；
由所述L-DNN基于所述观察确定预期与所述实时操作机器的感知之间的不匹配；以及
响应于所述不匹配，由所述L-DNN触发快速学习模式，所述快速学习模式基于所述观察生成修改后预期，而不改变先前确定的所述L-DNN的权重。


11.根据权利要求10所述的方法，还包括：
确定所述实时操作机器离线；以及
响应于确定所述实时操作机器离...

【专利技术属性】
技术研发人员：M·卢西维，S·奥利弗，A·戈谢什尼科夫，J·沃尔布斯，H·A·维尔萨斯，M·维尔萨斯，
申请(专利权)人：纽拉拉股份有限公司，
类型：发明
国别省市：美国;US