一种视频深度分析的方法与系统技术方案

本发明专利技术公开了一种视频深度分析系统，包括：特征网络，所述特征网络从原始视频提取特征，并在所述特征上添加时间标记；以及转接模块，所述转接模块基于带有时间标记的特征生成时空特征张量，所述时空特征张量包括时间维度和空间特征维度。

【技术实现步骤摘要】
一种视频深度分析的方法与系统
本专利技术属于人工智能与计算机视觉领域，具体涉及一种用于视频深度分析的方法与系统。
技术介绍
近年来，以卷积神经网络为代表的深度学习方法在图像分析与物件识别方面取得了令人瞩目的成绩。对单帧图像的深度分析已经能够以较高的成功概率和稳定性，从图像中获取特定目标的信息，包括存在与否，所处位置以及状态变化等。这使得车辆识别、人脸识别等应用的大规模部署具备了相当的技术基础。相比于针对单帧图像的物件识别，涉及到多帧图像所构成的运动视频的联合分析技术还很不成熟。人们已经意识到，运动视频分析的关键在于如何将时间轴上不同点的信息加以协同利用。但是具体怎么做，才能够将信息沿时间轴有效地融合起来，仍然存在现实的困难。尽管出现了诸如3d卷积、多帧判决等方法，但是其或者拘泥于局部分析，无法获得全局特征；或者只能照顾到时间轴上的关键点，无法形成完整的连续采样。因此，效果距离实用要求尚有较大差距。因此，本领域需要一种新型的用于视频分析的方法和系统，至少部分地解决现有技术中存在的问题。
技术实现思路
为了解决上述问题，本专利技术的实施例使用新的视频深度分析系统和方法。该系统和方法可以显著提升运动视频分析与识别的准确率与稳定性，同时为硬件实现提供方便。本专利技术的一个实施例提供一种视频深度分析系统，包括：特征网络，所述特征网络从原始视频提取特征，并在所述特征上添加时间标记；以及转接模块，所述转接模块基于带有时间标记的特征生成时空特征张量，所述时空特征张量包括时间维度和空间特征维度。在本专利技术的一个实施例中，该视频深度分析系统还包括决策模块，所述决策模块处理时空特征张量生成最终决策。在本专利技术的一个实施例中，所述决策模块是决策神经网络，所述决策神经网络：一个或者多个卷积层；与每一个卷积层对应的池化层和非线性层；以及全连接网络，所述全连接网络接收卷积层、池化层和非线性层的分析结果，并进行判别决策。在本专利技术的一个实施例中，所述特征网络包括多个级联的处理层，后一处理层用于对前一处理层处理的结果作进一步处理，提取更高层次的特征，每个处理层包括：卷积层，用于通过卷积操作提取待处理的单帧图像或者时间相邻多帧图像中的空间局部特征；非线性激励层，用于对输入的卷积计算结果用非线性函数进行处理；以及池化层，用于对待处理的单帧图像或者时间相邻多帧图像实施降采样。在本专利技术的一个实施例中，所述特征网络包括时间标记模块，用于给所述处理层输出的时空特征打上时间标记，所述时间标记是绝对时间、相对时间和帧序号中的一种或多种。在本专利技术的一个实施例中，所述特征网络是并行工作的多个特征网络，同时对与多个局部时间相对应的单帧或者局部多帧视频数据进行处理。在本专利技术的一个实施例中，所述转接模块包括：时域差分模块，用于使用差分操作来强化不同时间的特征之间的差异；特征域降维模块，用于减少特征的维度；以及时空特征张量生成模块，用于将带有时间标记的特征整合为时空特征张量。本专利技术的另一个实施例提供一种视频深度分析方法，包括：通过特征网络从原始视频数据中提取特征，并对所提取的特征打上时间标记；根据带有时间标记的特征生成集合生成时空特征张量，所述时空特征张量包括时间维度和空间特征维度；以及通过决策模块处理时空特征张量生成最终决策。在本专利技术的另一个实施例中，通过特征网络从原始视频数据中提取特征包括：通过卷积操作提取待处理的单帧图像或者时间相邻多帧图像中的空间局部特征；对输入的卷积计算结果用非线性函数进行处理；以及对待处理的单帧图像或者时间相邻多帧图像实施降采样。在本专利技术的另一个实施例中，所述时间标记是绝对时间、相对时间和帧序号中的一种或多种。在本专利技术的另一个实施例中，在根据带有时间标记的特征生成集合生成时空特征张量之前，还包括：使用差分操作来强化不同时间的特征之间的差异；和/或减少特征的维度。在本专利技术的另一个实施例中，通过线性降维或非线性降维减少特征的维度。在本专利技术的另一个实施例中，所述时空特征张量是二维图像，两个维度分别为特征域与时间域，二维图像的每一列对应于一个的时间标记，该列的每一个元素对应于一个降维后的特征值。在本专利技术的另一个实施例中，通过决策模块处理时空特征张量生成最终决策包括从所述时空张量中提取特定的几何特征。本专利技术的又一个实施例中提供一种视频深度分析系统，包括：数据存储器，用于存储原始视频数据；以及处理单元，所述处理单元用于执行上述视频深度分析的方法。附图说明为了进一步阐明本专利技术的各实施例的以上和其它优点和特征，将参考附图来呈现本专利技术的各实施例的更具体的描述。可以理解，这些附图只描绘本专利技术的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。图1示出根据本专利技术的一个实施例的视频深度分析系统的示意框图。图2示出根据本专利技术的一个实施例的特征网络的结构框图。图3示出根据本专利技术的一个实施例的转接模块300的结构示意图。图4示出根据本专利技术的一个实施例的视频深度分析方法的流程图。具体实施方式在以下的描述中，参考各实施例对本专利技术进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本专利技术的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本专利技术的实施例的全面理解。然而，本专利技术可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本专利技术的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。在以下的描述中，参考各实施例对本专利技术进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本专利技术的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本专利技术的实施例的全面理解。然而，本专利技术可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本专利技术的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。本专利技术的目的在于提供一种新的视频深度分析方法及其系统。该方法不同于传统方法之处在于，其核心由两张级联的神经网络，即特征网络及决策模块，以及一个转接模块共同构成。特征网络首先对原始视频数据进行处理，所得到的结果作为原始视频的时空信息特征被输入到转接模块。转接模块将特征整合后得到时空特征张量，并输入到决策神经网络进行进一步处理，并最终得到运动视频的分析与识别结果。图1示出根据本专利技术的一个实施例的视频深度分析系统的示意框图。参见图1，该视频深度分析系统可包括：数据存储器100、特征网络101、转接模块102和决策模块103。数据存储器100用于存储原始视频本文档来自技高网...

【技术保护点】
1.一种视频深度分析系统，包括：特征网络，所述特征网络从原始视频提取特征，并在所述特征上添加时间标记；以及转接模块，所述转接模块基于带有时间标记的特征生成时空特征张量，所述时空特征张量包括时间维度和空间特征维度。

【技术特征摘要】
1.一种视频深度分析系统，包括：特征网络，所述特征网络从原始视频提取特征，并在所述特征上添加时间标记；以及转接模块，所述转接模块基于带有时间标记的特征生成时空特征张量，所述时空特征张量包括时间维度和空间特征维度。2.如权利要求1所述的视频深度分析系统，还包括决策模块，所述决策模块处理时空特征张量生成最终决策。3.如权利要求2所述的视频深度分析系统，其特征在于，所述决策模块是决策神经网络，所述决策神经网络：一个或者多个卷积层；与每一个卷积层对应的池化层和非线性层；以及全连接网络，所述全连接网络接收卷积层、池化层和非线性层的分析结果，并进行判别决策。4.如权利要求1所述的视频深度分析系统，其特征在于，所述特征网络包括多个级联的处理层，后一处理层用于对前一处理层处理的结果作进一步处理，提取更高层次的特征，每个处理层包括：卷积层，用于通过卷积操作提取待处理的单帧图像或者时间相邻多帧图像中的空间局部特征；非线性激励层，用于对输入的卷积计算结果用非线性函数进行处理；以及池化层，用于对待处理的单帧图像或者时间相邻多帧图像实施降采样。5.如权利要求4所述的视频深度分析系统，其特征在于，所述特征网络包括时间标记模块，用于给所述处理层输出的时空特征打上时间标记，所述时间标记是绝对时间、相对时间和帧序号中的一种或多种。6.如权利要求1所述的视频深度分析系统，其特征在于，所述特征网络是并行工作的多个...

【专利技术属性】
技术研发人员：肖东晋，张立群，
申请(专利权)人：阿依瓦北京技术有限公司，
类型：发明
国别省市：北京,11