用于实时视觉活动识别的神经形态系统技术方案

描述了一种用于视觉活动识别的系统，所述系统包括一个或更多个处理器以及存储器，所述存储器是编码有可执行指令的非暂时性计算机可读介质，使得在执行所述指令时，所述一个或更多个处理器执行包括以下项的操作：检测视频数据中的关注对象的集合并且确定所述关注对象的集合中的每个对象的对象分类，所述集合包括至少一个关注对象。所述一个或更多个处理器还执行包括以下项的操作：通过跨多个帧跟踪所述关注对象的集合中的每个对象来形成每个对象的对应的活动轨迹。所述一个或更多个处理器还执行包括以下项的操作：针对每个关注对象并且使用特征提取器，确定所述视频数据中的对应的特征。所述系统可以向用户的蜂窝电话或中央监测设施提供报告。

Neuromorphological system for real-time visual activity recognition

【技术实现步骤摘要】
【国外来华专利技术】用于实时视觉活动识别的神经形态系统相关申请的交叉引用本申请是2018年1月30日提交的美国专利申请No.15/883,822的部分继续申请，美国专利申请No.15/883,822是2017年3月30日提交的美国临时申请No.62/479,204的非临时申请，其全部内容通过引用并入于此。本申请还要求保护2017年6月7日提交的美国临时申请No.62/516,217的权益并且作为其非临时专利申请，其全部内容通过引用并入于此。政府权利本专利技术是以ONR授予的美国政府合同号N00014-15-C-0091NEMESIS下的政府支持来进行。政府在本专利技术中具有特定权利。
本专利技术涉及视觉活动识别，并且更具体地，涉及用于实时视觉活动识别的神经形态系统。
技术介绍
自动化模式识别，并且更具体地，视觉图像和/或活动识别具有广泛的应用领域，包括导航、制造、监视、医学以及其它范围。尝试识别活动的一些常规方法包括在“Large-ScaleVideoClassificationWithConvolutionalNeuralNetworks”(参见所引入的参考文献列表中的参考文献No.1)以及“Two-StreamConvolutionalNetworksForActionRecognitionInVideos”(参见参考文献No.2)中所公开的那些方法。其它常规方法包括在“AReviewofHumanActivityRecognitionMethods”(参见参考文献No.3)以及“Long-termRecurrentConvolutionalNetworksforVisualRecognitionandDescription”(参见参考文献No.4)中所公开的那些方法。然而，这些方法中的每一种都受限于仅寻求解决活动分类问题：他们假定输入是活动视频片段，该活动视频片段正好以关注的活动为中心并且仅包含关注的活动。这些方法不适用于场景可能包含多个对象、杂波(clutter)并且实际的关注活动仅占该视频的较小区段的情报、监视以及侦察(ISR)类型的检测和分类应用。在这类问题中，在可以执行活动分类之前，首先需要对关注对象进行检测/分类和跟踪。另外，这些现有技术系统都无法应用于多种不同的使用情况，例如空中、地面、静止或移动的平台。因此，持续需要一种解决上述限制的用于视觉活动识别的系统。
技术实现思路
本公开提供了一种用于视觉活动识别的系统。在各种实施方式中，所述系统包括一个或更多个处理器以及存储器。所述存储器是编码有可执行指令的非暂时性计算机可读介质，使得在执行所述指令时，所述一个或更多个处理器执行包括以下操作：检测视频数据中的关注对象的集合并且确定所述关注对象的集合中的每个对象的对象分类，所述集合包括至少一个关注对象；通过跨多个帧跟踪所述关注对象的集合中的每个对象来形成每个对象的对应的活动轨迹；针对每个关注对象并且使用特征提取器，通过基于所述对应的活动轨迹执行特征提取来确定所述视频数据中的对应特征，所述特征提取器包括卷积神经网络；以及针对每个关注对象，基于所述特征提取器的输出，确定每个关注对象的对应的活动分类。在另一方面，所述一个或更多个处理器还执行以下操作：基于所述对应的活动分类中的至少一个活动分类来控制装置。在又一方面，控制所述装置的步骤包括：使用机器发送有关所述活动分类的视觉警告、音频警告或电子警告中的至少一种。在又一方面，控制所述装置的步骤包括：使基于地面的车辆或空中飞行器开始物理动作。在又一方面，所述特征提取器包括递归神经网络，并且所述一个或更多个处理器还执行以下操作：针对每个关注对象并且使用所述递归神经网络，基于所述对应的活动轨迹和所述对应特征中的至少一者来提取对应的时间序列特征。在又一方面，所述递归神经网络使用长短期记忆作为时间分量。在又一方面，所述卷积神经网络包括至少五个卷积-纠正-池化层。在又一方面，所述卷积神经网络还包括至少两个全连接层。在又一方面，所述活动分类包括概率和置信度得分中的至少一者。在又一方面，所述关注对象的集合包括多个关注对象，并且所述卷积神经网络、所述递归神经网络以及所述活动分类器针对多个对应的活动轨迹并行运行。在又一方面，所述分类包括概率和置信度得分中的至少一者。最后，本专利技术还包括一种计算机程序产品和计算机实现方法。所述计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，该计算机可读指令能够由具有一个或更多个处理器的计算机执行，使得在执行所述指令时，所述一个或更多个处理器执行本文列出的操作。另选地，所述计算机实现方法包括使计算机执行这种指令并且执行所得操作的行为。附图说明根据下面结合参照附图对本专利技术各个方面的详细描述，本专利技术的目的、特征以及优点是显而易见的，其中：图1是描绘根据本专利技术的各个实施方式的系统的组件的框图；图2是具体实施本专利技术的一个方面的计算机程序产品的例示图；图3是根据一些实施方式的用于实时活动识别的框图；图4是例示根据一些实施方式的用于实时活动识别的附加细节的框图；图5是示出根据一些实施方式的各种方法的正确分类的百分比的表；图6是根据一些实施方式的进出设施活动分类的示例图像的例示图；图7包括了根据一些实施方式的打开/关闭后备箱活动分类的示例图像的例示图；图8包括了根据一些实施方式的打开/关闭后备箱活动和进/出车辆分类的示例图像的例示图；图9是例示了针对各种情形的分类的百分比准确度的表；图10是例示根据一些实施方式的来自完整活动识别流水线的测试的结果的表；图11是例示根据一些实施方式的来自完整活动识别流水线的测试的结果的图表；图12是描绘根据各种实施方式的装置的控制的框图；以及图13是例示根据各种实施方式的用于预测对象的移动的操作的流程图。具体实施方式本专利技术涉及视觉活动识别，并且更具体地，涉及用于实时视觉活动识别的神经形态系统。呈现以下描述以使本领域普通技术人员能够制造和使用本专利技术并将其并入特定应用的背景中。各种变型例以及不同应用方面的多种用途对于本领域技术人员来说是显而易见的，并且本文定义的一般原理可以被应用于广泛的方面。因此，本专利技术不旨在限于所呈现的方面，而是符合与本文所公开原理和新颖特征相一致的最广范围。在下面的详细描述中，阐述了许多具体细节，以便提供对本专利技术的更详尽理解。然而，本领域技术人员应当明白，本专利技术可以在不受限于这些具体细节的情况下来实践。在其它情况下，公知结构和装置按框图形式而不是按细节示出，以便避免模糊本专利技术。将读者的注意引向与本说明书同时提交的所有文件和文档，并且所述文件和文档可以利用本说明书开放以供公众查阅，所有这些文件和文档的内容通过引用并入于此。本说明书中公开的所有功能(包括任何所附权利要求、摘要，以及附图)可以用服务相同、等同或相似目的的另选特征来代替，除非另本文档来自技高网...

【技术保护点】
1.一种用于视觉活动识别的系统，所述系统包括：/n一个或更多个处理器以及存储器，所述存储器是编码有可执行指令的非暂时性计算机可读介质，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：/n检测视频数据中的关注对象的集合并且确定关注对象的所述集合中的各个对象的对象分类，所述集合包括至少一个关注对象；/n通过跨多个帧跟踪关注对象的所述集合中的各个对象，形成各个对象的对应的活动轨迹；/n针对各个关注对象并且使用特征提取器，通过基于所述对应的活动轨迹执行特征提取来确定所述视频数据中的对应特征，所述特征提取器包括卷积神经网络；以及/n针对各个关注对象，基于所述特征提取器的输出，确定各个关注对象的对应的活动分类。/n

【技术特征摘要】
【国外来华专利技术】20170607 US 62/516,217;20180130 US 15/883,8221.一种用于视觉活动识别的系统，所述系统包括：
一个或更多个处理器以及存储器，所述存储器是编码有可执行指令的非暂时性计算机可读介质，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：
检测视频数据中的关注对象的集合并且确定关注对象的所述集合中的各个对象的对象分类，所述集合包括至少一个关注对象；
通过跨多个帧跟踪关注对象的所述集合中的各个对象，形成各个对象的对应的活动轨迹；
针对各个关注对象并且使用特征提取器，通过基于所述对应的活动轨迹执行特征提取来确定所述视频数据中的对应特征，所述特征提取器包括卷积神经网络；以及
针对各个关注对象，基于所述特征提取器的输出，确定各个关注对象的对应的活动分类。


2.根据权利要求1所述的系统，其中，所述一个或更多个处理器还执行以下操作：
基于所述对应的活动分类中的至少一个活动分类来控制装置。


3.根据权利要求2所述的系统，其中，控制所述装置包括：使用机器来发送有关所述活动分类的视觉警告、音频警告或电子警告中的至少一种。


4.根据权利要求2所述的系统，其中，控制所述装置包括：使基于地面的车辆或空中飞行器开始物理动作。


5.根据权利要求1所述的系统，其中，所述特征提取器还包括递归神经网络，并且所述一个或更多个处理器还执行以下操作：
针对各个关注对象并且使用所述递归神经网络，基于所述对应的活动轨迹和所述对应特征中的至少一者来提取对应的时间序列特征。


6.根据权利要求5所述的系统，其中，所述递归神经网络使用长短期记忆作为时间分量。


7.根据权利要求1所述的系统，其中，所述卷积神经网络包括至少五个卷积-纠正-池化层。


8.根据权利要求1所述的系统，其中，所述卷积神经网络还包括至少两个全连接层。


9.根据权利要求1所述的系统，其中，所述活动分类包括概率和置信度得分中的至少一者。


10.根据权利要求5所述的系统，其中，关注对象的所述集合包括多个关注对象，并且所述卷积神经网络、所述递归神经网络以及所述活动分类器针对多个对应的活动轨迹并行地操作。


11.根据权利要求1所述的系统，其中，所述活动分类包括概率和置信度得分中的至少一者。


12.根据权利要求1所述的系统，其中，所述一个或更多个处理器还执行以下操作：
向用户的蜂窝电话或者向中央监测设施报告各个关注对象的所述对应的活动分类。


13.一种用于生物反馈的计算机程序产品，所述计算机程序产品包括：
编码有可执行指令的非暂时性计算机可读介质，使得在由一个或更多个处理器执行所述指令时，所述一个或更多个处理器执行以下操作：
检测视频数据中的关注对象的集合并且确定关注对象的所述集合中的各个对象的对象分...

【专利技术属性】
技术研发人员：D·科斯拉，R·M·乌伦布罗克，陈洋，
申请(专利权)人：赫尔实验室有限公司，
类型：发明
国别省市：美国;US