在跨联网计算边缘连续运行应用程序的人工智能和深度学习中实现连续的存储器有界学习的系统和方法技术方案

终身深度神经网络(L‑DNN)技术通过实现快速、后期部署学习来革新深度学习，无需广泛训练、大量计算资源或大量数据存储。它使用具有快速学习子系统(模块B)的富含表示的基于DNN的子系统(模块A)来快速学习新特征，而不会忘记先前学习到的特征。与常规DNN相比，L‑DNN使用更少的数据来建立稳固的网络，显著更短的训练时间，以及在装置上而不是在服务器上的学习。它无需重新训练或存储数据就能够添加新知识。结果，具有L‑DNN的边缘装置可以在部署之后连续不断地学习，消除数据收集和注释、存储器和数据存储以及计算能力方面的巨大成本。这种快速的本地装置上的学习可以用于安全、供应链监测、灾难和应急响应、基础设施和财产的基于无人机的检查及其他应用。

The system and method of continuous memory bounded learning in artificial intelligence and deep learning of applications running continuously across the edge of networked computing

【技术实现步骤摘要】
【国外来华专利技术】在跨联网计算边缘连续运行应用程序的人工智能和深度学习中实现连续的存储器有界学习的系统和方法相关申请的交叉引用本申请要求根据《美国法典》第35卷第119(e)条，于2017年12月31日提交的美国申请号62/612,529和2017年5月9日提交的美国申请号62/503,639的优先权权益。这些申请中的每一个以全文引用的方式并入本文中。
技术介绍
包括含有插入到输入层与输出层之间的许多神经元层的深度神经网络(DNN)的传统神经网络需要对特定数据集训练数千个或数百万个迭代循环。这些循环常常在高性能计算服务器中执行。事实上，取决于输入数据集的大小，一些传统的DNN可能需要几天或甚至几周的训练。用于训练DNN的一种技术涉及反向传播算法。反向传播算法通过应用链法则以便反向传播误差梯度，来从标记的数据集计算与误差梯度成比例的DNN中的所有权重的变化。反向传播对每个数据的权重进行小的变化，并且在多个阶段中在集合中的所有数据上运行。每个迭代循环采用的学习速率越大，损失函数的梯度将越可能稳定到局部最小值，而非全局最小值，这可能导致性能较差。为了提高损失本文档来自技高网...

【技术保护点】
1.一种分析环境中的对象的方法，所述方法包括：/n由传感器收集表示所述环境中的对象的数据流；/n用在可操作地耦合到所述传感器的处理器上运行的神经网络从所述数据流提取卷积输出，所述卷积输出表示所述对象的特征；以及/n用可操作地耦合到所述神经网络的分类器基于所述卷积输出对所述对象进行分类。/n

【技术特征摘要】
【国外来华专利技术】20170509 US 62/503,639;20171231 US 62/612,5291.一种分析环境中的对象的方法，所述方法包括：
由传感器收集表示所述环境中的对象的数据流；
用在可操作地耦合到所述传感器的处理器上运行的神经网络从所述数据流提取卷积输出，所述卷积输出表示所述对象的特征；以及
用可操作地耦合到所述神经网络的分类器基于所述卷积输出对所述对象进行分类。


2.根据权利要求1所述的方法，其中所述传感器是图像传感器，并且所述数据流包括图像。


3.根据权利要求2所述的方法，其中提取特征集包括：
生成第一图像的多个分段子区域；以及
由所述神经网络对所述多个分段子区域中的每一个分段子区域进行编码。


4.根据权利要求1所述的方法，其中提取特征集包括：
使得用户能够选择所述数据流中的感兴趣部分；
使得用户能够将所述感兴趣部分分割成多个区段；以及
由所述神经网络对所述多个区段中的每一个区段进行编码。


5.根据权利要求1所述的方法，其中所述传感器是以下中的至少一个：激光雷达、雷达或声传感器，并且所述数据流包括以下中的对应一个：激光雷达数据、雷达数据或声学数据。


6.一种设备，包括：
用于收集环境的数据流的传感器，所述数据流表示所述环境中的对象；以及
至少一个处理器，所述至少一个处理器可操作地耦合到图像传感器，所述至少一个处理器执行(i)神经网络以从所述数据流提取卷积输出，所述卷积输出表示所述对象的特征，以及(ii)分类器以基于所述卷积输出对所述对象进行分类。


7.根据权利要求6所述的设备，其中所述传感器包括以下中的至少一个：图像传感器、激光雷达、雷达或声传感器。


8.根据权利要求6所述的设备，其中所述神经网络包括深度神经网络(DNN)。


9.根据权利要求6所述的设备，其中所述神经网络包括自适应共振理论(ART)网络。


10.一种在实时操作机器中实施终身学习深度神经网络(L-DNN)的方法，所述方法包括：
由所述L-DNN基于(i)由传感器对所述实时操作机器的环境的观察，和(ii)先前确定的所述L-DNN的权重预测所述实时操作机器的第一动作；
由所述L-DNN基于所述观察确定预期与所述实时操作机器的感知之间的不匹配；以及
响应于所述不匹配，由所述L-DNN触发快速学习模式，所述快速学习模式基于所述观察生成修改后预期，而不改变先前确定的所述L-DNN的权重。


11.根据权利要求10所述的方法，还包括：
确定所述实时操作机器离线；以及
响应于确定所述实时操作机器离...

【专利技术属性】
技术研发人员：M·卢西维，S·奥利弗，A·戈谢什尼科夫，J·沃尔布斯，H·A·维尔萨斯，M·维尔萨斯，
申请(专利权)人：纽拉拉股份有限公司，
类型：发明
国别省市：美国;US