一种基于循环残差模块的视频快速推断方法技术

本发明专利技术中提出的一种基于循环残差模块的视频快速推断方法，其主要内容包括：循环残差模块、降低神经网络运算复杂性、提高中间特征映射稀疏性、合成高效推断引擎，其过程为，先在循环残差模块中利用帧相似性，减少逐帧视频卷积神经网络推断中的冗余计算；然后，通过提高中间特征映射的稀疏性近似推断输出，从而加速推断的速度，并通过误差控制机制保证推断的精度；最后，合成高效推断引擎，即利用矩阵向量乘法中的动态稀疏性的加速器，使循环残差模块高效运行。本发明专利技术相对于传统方法，能显著提高视觉处理系统的运行速度，并且增强网络对实时变化的视频片段的理解能力，从而实现在保证识别精确性的前提下对视频推断过程的加速。

【技术实现步骤摘要】
一种基于循环残差模块的视频快速推断方法
本专利技术涉及视频识别领域，尤其是涉及了一种基于循环残差模块的视频快速推断方法。
技术介绍
随着人工智能领域取得了巨大突破，视频识别技术的发展也得到了重大推动；视频识别技术的工作原理主要是：前端视频采集摄像机提供清晰稳定的视频信号，再通过中间嵌入的智能分析模块，对视频画面进行识别、检测、分析，滤除干扰，对视频画面中的异常情况做目标和轨迹标记。在安全管理方面，视频识别技术可作为监控系统，对特定区域的人员进行有效监控和识别，从而及时发现违法犯罪行为并对嫌疑人进行追踪；在人机交互中，视频识别技术可用于识别人的姿态、动作、手势等以理解人的意图；在军事领域，视频识别技术可用于识别敌方目标的动态变化，从而实现精确打击；在海航领域，视频识别技术可用于判断潮汐洋流情况，以确定合理航线；另外，视频识别技术还被广泛应用于异常行为检测、摄像机功能检查以及虚拟现实等领域；然而，目前的视频推断方法存在着推断速度较慢，精度不高等问题。本专利技术中提出的一种基于循环残差模块的视频快速推断方法，先在循环残差模块中利用帧相似性，减少逐帧视频卷积神经网络推断中的冗余计算；然后，通过提高中间特征映射的稀疏性近似推断输出，从而加速推断的速度，并通过误差控制机制保证推断的精度；最后，合成高效推断引擎，即利用矩阵向量乘法中的动态稀疏性的加速器，使循环残差模块高效运行。本专利技术相对于传统方法，能显著提高视觉处理系统的运行速度，并且增强网络对实时变化的视频片段的理解能力，从而实现在保证识别精确性的前提下对视频推断过程的加速。
技术实现思路
针对目前的视频推断方法存在着推断速度较慢，精度不高等问题，本专利技术的目的在于提供一种基于循环残差模块的视频快速推断方法，先在循环残差模块中利用帧相似性，减少逐帧视频卷积神经网络推断中的冗余计算；然后，通过提高中间特征映射的稀疏性近似推断输出，从而加速推断的速度，并通过误差控制机制保证推断的精度；最后，合成高效推断引擎，即利用矩阵向量乘法中的动态稀疏性的加速器，使循环残差模块高效运行。为解决上述问题，本专利技术提供一种基于循环残差模块的视频快速推断方法，其主要内容包括：(一)循环残差模块；(二)降低神经网络运算复杂性；(三)提高中间特征映射稀疏性；(四)合成高效推断引擎。其中，所述的循环残差模块，主要通过利用视频相邻帧的相似性特点以加速视频推断；相邻帧的推断是基于卷积神经网络进行的，其首要受制因素是卷积神经网络中的线性层中的庞杂计算过程，而循环残差模块有分享线性层之间的重叠运算的功能，大大减少了计算时间，从而提高了视频推断速度，因此，先改善每个线性层输入张量的稀疏性，然后使用稀疏矩阵乘法加速器进一步加快前向传递过程。进一步地，所述的加速视频推断，利用帧相似性来减少逐帧视频卷积神经网络推断中的冗余计算；逐帧视频卷积神经网络推断用下式表示：其中，为深度卷积神经网络特征；是用于处理相邻帧之间差别的网络；I表示输入张量；It和It-1为第t帧和第t-1个帧的输入张量。进一步地，所述的输入张量，传输到线性层l及其相应的投影层P中的输入张量将会被保存，输入张量包含上一帧和网络的相关信息，这些信息将会在下一帧的推断阶段被使用。进一步地，所述的分享线性层之间的重叠运算，线性层包括卷积层和完全连接层，其原理用下式表示：其中，l表示第l个线性层；t表示第t个帧，ΔItl表示第t帧第l线性层输入张量Itl和第t-1个帧上的第l线性层输入张量I(t-1)l之差，即ΔItl＝Itl-I(t-1)l；P表示投影层；f表示线性整流函数；F是卷积层的权重过滤器；W是完全连接层的权重张量；*表示卷积运算；FC为完全连接层；P(t-1)l在最后一帧的推断阶段已经得到，使得该式计算的主要部分在于Fl*ΔItl和WlΔItl；由于相邻帧的相似性，ΔItl具有高度的稀疏性。进一步地，所述的卷积，包括密集卷积和稀疏卷积，密集卷积即标准卷积，稀疏卷积为带有稀疏矩阵乘法加速器的卷积；其中，稀疏卷积无偏置项，与密集卷积共用同一个权重过滤器。其中，所述的降低神经网络运算复杂性，在循环残差模块中，即使采用了分享线性层之间的重叠运算，其运算复杂性仍然较高，而采用输入的稀疏性则减少了网络执行时间和运算成本，从而降低运算复杂性；其中，稀疏性可加速训练和测试中的卷积网络；主要是通过在运算过程中，用稀疏矩阵乘法加速器跳过零元素运算，从而提高推断速度；循环残差模块的运算复杂性主要决定于乘法运算的复杂性，乘法运算复杂性用以下公式进行计算：其中，O表示运算复杂性；W和H为卷积层尺寸；W、H、w和h表示卷积的尺寸；C表示卷积通道；ρ表示输入张量的密度；in和out表示输入和输出；ci表示第i个卷积层；fj表示第j个完全卷积。其中，所述的提高中间特征映射稀疏性，通过提高中间特征映射的稀疏性近似推断输出，从而进一步加速推断的速度；此过程会导致输出的误差累积，需要保证视频快速推断的精确性，采用以下公式对累积误差进行估计：其中，ec代表精确累积误差；代表四阶多项式回归函数，它是由累积截断值和累积误差的大量数据对拟合得到的；u代表截断映射。进一步地，所述的保证视频快速推断的精确性，主要执行步骤如下：对于每个视频片段，先提取其每帧的VGG-16特征向量，其中VGG-16是一种卷积神经网络；然后，在这些特征向量上执行平均池化，以获得在4096维度中的视频级特征向量来表示此视频；最后，通过这些视频特征，训练一个两层的感知器来识别视频中的动作并实时评估其精度，当累积误差超过设置的阈值∈时，网络会进行新的推断以清除误差，从而实现在保证识别精确性的前提下对视频推断过程的加速；其中，阈值∈是衡量累积误差的值，根据推断精度要求确定。其中，所述的合成高效推断引擎，高效推断引擎是利用矩阵向量乘法中的动态稀疏性的加速器，主要用于循环残差模块的高效运行，其工作原理为：当在矩阵W和稀疏矢量a之间执行乘法时，稀疏矢量a和一个非零检测节点以递归的方式查找下一个非零元素aj；找到下一个非零元素后，合成高效推断引擎将aj及其对应的指数j传播到处理元素中；接下来，在所有处理元素中具有指数j的权重列Wj将乘以aj，并且结果将被加到相应的行累加器中，这些累加器最终输出结果向量b；矩阵乘法运算可分解为几个矩阵向量乘法运算，由此通过分解输入张量为动态系数向量，使得高效推断引擎便利地嵌入循环残差模块中。附图说明图1是本专利技术一种基于循环残差模块的视频快速推断方法的系统框架图。图2是本专利技术一种基于循环残差模块的视频快速推断方法的循环残差模块工作图。图3是本专利技术一种基于循环残差模块的视频快速推断方法的处理效果图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本专利技术作进一步详细说明。图1是本专利技术一种基于循环残差模块的视频快速推断方法的系统框架图。主要包括循环残差模块、降低神经网络运算复杂性、提高中间特征映射稀疏性和合成高效推断引擎。降低神经网络运算复杂性，在循环残差模块中，即使采用了分享线性层之间的重叠运算，其运算复杂性仍然较高，而采用输入的稀疏性则减少了网络执行时间和运算成本，从而降低运算复杂性；其中，稀疏性可加速训练和测试中的卷积网络；主要是本文档来自技高网...

【技术保护点】
1.一种基于循环残差模块的视频快速推断方法，其特征在于，主要包括循环残差模块(一)；降低神经网络运算复杂性(二)；提高中间特征映射稀疏性(三)；合成高效推断引擎(四)。

【技术特征摘要】
1.一种基于循环残差模块的视频快速推断方法，其特征在于，主要包括循环残差模块(一)；降低神经网络运算复杂性(二)；提高中间特征映射稀疏性(三)；合成高效推断引擎(四)。2.基于权利要求书1所述的循环残差模块(一)，其特征在于，主要通过利用视频相邻帧的相似性特点以加速视频推断；相邻帧的推断是基于卷积神经网络进行的，其首要受制因素是卷积神经网络中的线性层中的庞杂计算过程，而循环残差模块有分享线性层之间的重叠运算的功能，大大减少了计算时间，从而提高了视频推断速度，因此，先改善每个线性层输入张量的稀疏性，然后使用稀疏矩阵乘法加速器进一步加快前向传递过程。3.基于权利要求书2所述的加速视频推断，其特征在于，利用帧相似性来减少逐帧视频卷积神经网络推断中的冗余计算；逐帧视频卷积神经网络推断用下式表示：其中，为深度卷积神经网络特征；是用于处理相邻帧之间差别的网络；I表示输入张量；It和It-1为第t帧和第t-1个帧的输入张量。4.基于权利要求书3所述的输入张量，其特征在于，传输到线性层l及其相应的投影层P中的输入张量将会被保存，输入张量包含上一帧和网络的相关信息，这些信息将会在下一帧的推断阶段被使用。5.基于权利要求书2所述的分享线性层之间的重叠运算，其特征在于，线性层包括卷积层和完全连接层，其原理用下式表示：其中，l表示第l个线性层；t表示第t个帧，ΔItl表示第t帧第l线性层输入张量Itl和第t-1个帧上的第l线性层输入张量I(t-1)l之差，即ΔItl＝Itl-I(t-1)l；P表示投影层；f表示线性整流函数；F是卷积层的权重过滤器；W是完全连接层的权重张量；*表示卷积运算；FC为完全连接层；P(t-1)l在最后一帧的推断阶段已经得到，使得该式计算的主要部分在于Fl*ΔItl和WlΔItl；由于相邻帧的相似性，ΔItl具有高度的稀疏性。6.基于权利要求书5所述的卷积，其特征在于，包括密集卷积和稀疏卷积，密集卷积即标准卷积，稀疏卷积为带有稀疏矩阵乘法加速器的卷积；其中，稀疏卷积无偏置项，与密集卷积共用同一个权重过滤器。7.基于权利要求书1所述的降低神经网络运算复杂性(二)，其特征在于，在循环残差模块中，即使采用了分享线性层之间的重叠运算，其运算复杂性仍然较高，而采用输...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44