一种基于循环残差模块的视频快速推断方法技术

本发明专利技术中提出的一种基于循环残差模块的视频快速推断方法，其主要内容包括：循环残差模块、降低神经网络运算复杂性、提高中间特征映射稀疏性、合成高效推断引擎，其过程为，先在循环残差模块中利用帧相似性，减少逐帧视频卷积神经网络推断中的冗余计算；然后，通过提高中间特征映射的稀疏性近似推断输出，从而加速推断的速度，并通过误差控制机制保证推断的精度；最后，合成高效推断引擎，即利用矩阵向量乘法中的动态稀疏性的加速器，使循环残差模块高效运行。本发明专利技术相对于传统方法，能显著提高视觉处理系统的运行速度，并且增强网络对实时变化的视频片段的理解能力，从而实现在保证识别精确性的前提下对视频推断过程的加速。

【技术实现步骤摘要】
一种基于循环残差模块的视频快速推断方法
本专利技术涉及视频识别领域，尤其是涉及了一种基于循环残差模块的视频快速推断方法。
技术介绍
随着人工智能领域取得了巨大突破，视频识别技术的发展也得到了重大推动；视频识别技术的工作原理主要是：前端视频采集摄像机提供清晰稳定的视频信号，再通过中间嵌入的智能分析模块，对视频画面进行识别、检测、分析，滤除干扰，对视频画面中的异常情况做目标和轨迹标记。在安全管理方面，视频识别技术可作为监控系统，对特定区域的人员进行有效监控和识别，从而及时发现违法犯罪行为并对嫌疑人进行追踪；在人机交互中，视频识别技术可用于识别人的姿态、动作、手势等以理解人的意图；在军事领域，视频识别技术可用于识别敌方目标的动态变化，从而实现精确打击；在海航领域，视频识别技术可用于判断潮汐洋流情况，以确定合理航线；另外，视频识别技术还被广泛应用于异常行为检测、摄像机功能检查以及虚拟现实等领域；然而，目前的视频推断方法存在着推断速度较慢，精度不高等问题。本专利技术中提出的一种基于循环残差模块的视频快速推断方法，先在循环残差模块中利用帧相似性，减少逐帧视频卷积神经网络推断中的冗余计算；然后，通本文档来自技高网...

【技术保护点】
1.一种基于循环残差模块的视频快速推断方法，其特征在于，主要包括循环残差模块(一)；降低神经网络运算复杂性(二)；提高中间特征映射稀疏性(三)；合成高效推断引擎(四)。

【技术特征摘要】
1.一种基于循环残差模块的视频快速推断方法，其特征在于，主要包括循环残差模块(一)；降低神经网络运算复杂性(二)；提高中间特征映射稀疏性(三)；合成高效推断引擎(四)。2.基于权利要求书1所述的循环残差模块(一)，其特征在于，主要通过利用视频相邻帧的相似性特点以加速视频推断；相邻帧的推断是基于卷积神经网络进行的，其首要受制因素是卷积神经网络中的线性层中的庞杂计算过程，而循环残差模块有分享线性层之间的重叠运算的功能，大大减少了计算时间，从而提高了视频推断速度，因此，先改善每个线性层输入张量的稀疏性，然后使用稀疏矩阵乘法加速器进一步加快前向传递过程。3.基于权利要求书2所述的加速视频推断，其特征在于，利用帧相似性来减少逐帧视频卷积神经网络推断中的冗余计算；逐帧视频卷积神经网络推断用下式表示：其中，为深度卷积神经网络特征；是用于处理相邻帧之间差别的网络；I表示输入张量；It和It-1为第t帧和第t-1个帧的输入张量。4.基于权利要求书3所述的输入张量，其特征在于，传输到线性层l及其相应的投影层P中的输入张量将会被保存，输入张量包含上一帧和网络的相关信息，这些信息将会在下一帧的推断阶段被使用。5.基于权利要求书2所述的分享线性层之间的重叠运算，其特征在于，线性层包括卷积层和完全连接层，其原理用下式表示：其中，l表示第l个线性层；t表示第t个帧，ΔItl表示第t帧第l线性层输入张量Itl和第t-1个帧上的第l线性层输入张量I(t-1)l之差，即ΔItl＝Itl-I(t-1)l；P表示投影层；f表示线性整流函数；F是卷积层的权重过滤器；W是完全连接层的权重张量；*表示卷积运算；FC为完全连接层；P(t-1)l在最后一帧的推断阶段已经得到，使得该式计算的主要部分在于Fl*ΔItl和WlΔItl；由于相邻帧的相似性，ΔItl具有高度的稀疏性。6.基于权利要求书5所述的卷积，其特征在于，包括密集卷积和稀疏卷积，密集卷积即标准卷积，稀疏卷积为带有稀疏矩阵乘法加速器的卷积；其中，稀疏卷积无偏置项，与密集卷积共用同一个权重过滤器。7.基于权利要求书1所述的降低神经网络运算复杂性(二)，其特征在于，在循环残差模块中，即使采用了分享线性层之间的重叠运算，其运算复杂性仍然较高，而采用输...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44