基于预测的低帧延迟行为识别方法技术

本发明专利技术涉及一种基于预测的低帧延迟行为识别方法，包括将帧从产生到计算完成的整个过程划分为感光，图像生成和视觉计算三个阶段，所述感光、图像生成构成前端，所述视觉计算构成后端，在感光、图像生成过程中生成实际帧，在视觉计算阶段将实际帧作为行为识别算法的输入数据进行计算通过连续帧预测模块，感光和成像阶段尚未执行完毕期间，得到预测的未来帧，采用调度算法为多个预测帧分配不同的计算单元，进行行为识别的运算。由此，通过本发明专利技术的方法，构建基于预测机制的低帧延迟行为识别系统。借助连续帧预测模块，缩短了视觉处理流水线的前端成像阶段的帧延迟。利用硬件异构性，最小化了视觉处理，便于流水线的后端计算阶段的帧延迟。

Low frame delay behavior recognition based on Prediction

【技术实现步骤摘要】
基于预测的低帧延迟行为识别方法
本专利技术涉及一种基于人工智能的视觉处理系统的数据处理方法，尤其涉及一种基于预测的低帧延迟行为识别方法。
技术介绍
随着人工智能的不断发展，新兴的移动嵌入式视觉处理系统，如智能城市感知(SmartCitySensing)、自动驾驶(AutonomousDriving)不断取得进步。具体来说，这些视觉处理系统依赖图像传感器持续地捕捉视觉信息，再通过视觉算法从视觉信息中提取隐含信息，从而指导系统做出相应的决策。因此，连续视觉处理技术(ContinuousVision)是这类系统的基石。但是，当前的连续视觉处理通常采用流水线技术，虽然这能提高吞吐量，但增加了单个帧从产生到计算完成整个过程的延迟，即端到端的帧延迟。为此，对实时系统而言，降低连续视觉处理中端到端的帧延迟对提高系统的敏捷性、可靠性至关重要。有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种基于预测的低帧延迟行为识别方法，使其更具有产业上的利用价值。
技术实现思路
为解决上述技术问题，本专利技术的目的是提供一种基于预测的低帧延迟行为识别方法。本专利技术的基于预测的低帧延迟行为识别方法，包括将帧从产生到计算完成的整个过程划分为感光，图像生成和视觉计算三个阶段，其特征在于：所述感光、图像生成构成前端，所述视觉计算构成后端，在感光、图像生成过程中生成实际帧，在视觉计算阶段将实际帧作为行为识别算法的输入数据进行计算；通过连续帧预测模块，感光和成像阶段尚未执行完毕期间，得到预测的未来帧，采用调度算法为多个预测帧分配不同的计算单元，进行行为识别的运算，所述连续帧预测模块基于第一个实际帧得到了若干个预测帧，预测帧一经产生便可直接被调度执行计算阶段的行为识别任务；当感光和成像阶段执行完得到实际帧时，对预测帧进行检测，若预测帧通过检验，则说明预测帧和实际帧较为相似，预测帧可代替实际帧进行行为识别的计算，否则需要用实际帧重新进行计算。进一步地，上述的基于预测的低帧延迟行为识别方法，其中，所述预测帧和实际帧通过结构相似性指数对相似度进行量化，计算出每个预测帧对应的SSIM指数，并设置一个相似度阈值T，若SSIMindex>T,则该帧检验合格；否则用实际帧重新进行行为识别计算；依据预测帧产生的时间顺序，将n个预测帧划分为K个免检预测帧，n-K个检查预测帧，其中，0≤K≤n，n＝10；通过准确性控制模块来对准确率进行控制，准确性控制模块通过调整K，T两个参数来对预测帧的准确性进行直接控制。更进一步地，上述的基于预测的低帧延迟行为识别方法，其中，所述连续帧预测模块根据当前获得的实际帧以及之前预测过程中积累的信息来预测一系列连续帧。更进一步地，上述的基于预测的低帧延迟行为识别方法，其中，所述预测帧产生后，被调度算法调度到片上系统的不同计算单元上作为行为识别算法的输入数据进行计算；当预测帧和实际帧之间存在较大偏差，即预测不准确时，调度算法会用实际帧替换掉预测帧，再将替换后的实际帧作为行为识别算法的输入，重新用实际帧进行行为识别的计算。更进一步地，上述的基于预测的低帧延迟行为识别方法，其中，所述调度算法采用贪心策略，通过控制器依据实时获得的计算单元的计算耗时信息和计算功耗信息来对帧进行调度。具体来说，这个控制器是本领域常规采纳的microcontrollerunit，就是业内常用的MCU(微控制单元)。再进一步地，上述的基于预测的低帧延迟行为识别方法，其中，所述行为识别算法采用TSN网络。借由上述方案，本专利技术至少具有以下优点：1、可以通过本专利技术的方法，构建基于预测机制的低帧延迟行为识别系统。2、借助连续帧预测模块，缩短了视觉处理流水线的前端成像阶段的帧延迟。3、利用硬件异构性，最小化了视觉处理，便于流水线的后端计算阶段的帧延迟。4、通过有效的帧调度算法和预测检查机制，有效地降低了端到端帧延迟，并保证了较低的能耗以及维持了较高的行为识别准确率。5、可用于对帧延迟要求较高的实时行为识别系统，满足各类移动嵌入式视觉处理系统的应用需要。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。附图说明图1是视觉处理流水执行的模型示意图。图2是一个预测周期中图像帧的划分示意图。图3是本专利技术应用到软件后的系统构架结构示意图(箭头表示数据流)。图4是本专利技术的整体构架示意图。图5是本专利技术方法的逻辑示意图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。如图1至5的基于预测的低帧延迟行为识别方法，包括将帧从产生到计算完成的整个过程划分为感光(Sensing)，图像生成(Imaging)和视觉计算(VisionComputation)三个阶段，其与众不同之处在于：感光、图像生成构成前端，视觉计算构成后端，在感光、图像生成过程中生成实际帧，在视觉计算阶段将实际帧作为行为识别算法的输入数据进行计算。这样，打破了感光、成像、计算三个阶段必须顺序执行的串行模式，因此端到端的帧延迟得到了优化。在此期间，通过连续帧预测模块，感光和成像阶段尚未执行完毕期间，得到预测的未来帧，采用调度算法为多个预测帧分配不同的计算单元，进行行为识别的运算。其原因在于，目前连续帧预测模块的预测准确性的有限，预测出的帧相较视觉流水线前端生成的实际帧必然存在一定的偏差，这会影响后端行为识别算法的结果，造成行为识别准确率的下降。具体来说，连续帧预测模块基于第一个实际帧得到了若干个(至少两个)预测帧，预测帧一经产生便可直接被调度执行计算阶段的行为识别任务，当这两个预测帧对应的实际帧产生后，只需再进行检验即可。在实施期间，当感光和成像阶段执行完得到实际帧时，对预测帧进行检测。若预测帧通过检验，则说明预测帧和实际帧较为相似，预测帧可代替实际帧进行行为识别的计算，否则需要用实际帧重新进行计算。由此可见，本专利技术能够对端到端帧延迟实现优化的关键在于，连续帧预测模块使得不需等待前端产生实际帧便可开始后端的计算，这打破了传统视觉处理流水线的顺序执行模式，因此降低了端到端的帧延迟。结合本专利技术一较佳的实施方式来看，本专利技术采用的预测帧和实际帧通过结构相似性指数(StructuralSimilarityindex，SSIMindex)对相似度进行量化，计算出每个预测帧对应的SSIM指数，并设置一个相似度阈值T，若SSIMindex>T,则该帧检验合格；否则用实际帧重新进行行为识别计算。同时，依据预测帧产生的时间顺序，将n个预测帧划分为K个免检预测帧，n-K个检查预测帧，其中，0≤K≤n，n＝10。并且，通过准确性控制模块(或是采用MCU)来对准确率进行控制。具体来说，准确性控制模块是微型控制器MCU上面运行的软件，通过调整K，T本文档来自技高网...

【技术保护点】
1.基于预测的低帧延迟行为识别方法，包括将帧从产生到计算完成的整个过程划分为感光，图像生成和视觉计算三个阶段，其特征在于：所述感光、图像生成构成前端，所述视觉计算构成后端，在感光、图像生成过程中生成实际帧，在视觉计算阶段将实际帧作为行为识别算法的输入数据进行计算；/n通过连续帧预测模块，感光和成像阶段尚未执行完毕期间，得到预测的未来帧，采用调度算法为多个预测帧分配不同的计算单元，进行行为识别的运算，/n所述连续帧预测模块基于第一个实际帧得到了若干个预测帧，预测帧一经产生便可直接被调度执行计算阶段的行为识别任务；/n当感光和成像阶段执行完得到实际帧时，对预测帧进行检测，若预测帧通过检验，则说明预测帧和实际帧较为相似，预测帧可代替实际帧进行行为识别的计算，否则需要用实际帧重新进行计算。/n

【技术特征摘要】
1.基于预测的低帧延迟行为识别方法，包括将帧从产生到计算完成的整个过程划分为感光，图像生成和视觉计算三个阶段，其特征在于：所述感光、图像生成构成前端，所述视觉计算构成后端，在感光、图像生成过程中生成实际帧，在视觉计算阶段将实际帧作为行为识别算法的输入数据进行计算；
通过连续帧预测模块，感光和成像阶段尚未执行完毕期间，得到预测的未来帧，采用调度算法为多个预测帧分配不同的计算单元，进行行为识别的运算，
所述连续帧预测模块基于第一个实际帧得到了若干个预测帧，预测帧一经产生便可直接被调度执行计算阶段的行为识别任务；
当感光和成像阶段执行完得到实际帧时，对预测帧进行检测，若预测帧通过检验，则说明预测帧和实际帧较为相似，预测帧可代替实际帧进行行为识别的计算，否则需要用实际帧重新进行计算。


2.根据权利要求1所述的基于预测的低帧延迟行为识别方法，其特征在于：所述预测帧和实际帧通过结构相似性指数对相似度进行量化，计算出每个预测帧对应的SSIM指数，并设置一个相似度阈值T，若SSIMindex>T,则该帧检验合格；否则用实际帧重新进行行为识别计算；
依据预测帧产生的时间顺序，将n...

【专利技术属性】
技术研发人员：朱君，
申请(专利权)人：苏州猫头鹰智能科技有限公司，
类型：发明
国别省市：江苏;32