基于云边协同的多级人形检测与跟踪方法和设备技术

本发明专利技术一种基于云边协同的多级人形检测与跟踪的方法和设备，前端设备对每一帧视频数据进行移动目标对象的检测和跟踪，前端设备对视频数据进行前端人形初级检测；后端设备进行后端人形二次检测；前端设备根据后端人形二次检测结果校正前端人形初级检测结果；将同帧的移动目标对象管理表和人形目标对象管理表进行比对，建立移动目标对象和相关人形目标对象的映射表，移动目标对象管理表与映射表进行匹配，输出每一帧视频数据对应的人形目标对象列表，作为人形检测及跟踪的决策依据。本发明专利技术利用前端响应的高速度和后端充足算力提供的检测和识别的高准确度，实现低成本前端完成高效人形检测与跟踪的目标。人形检测与跟踪的目标。人形检测与跟踪的目标。

【技术实现步骤摘要】
基于云边协同的多级人形检测与跟踪方法和设备


[0001]本专利技术属于人形检测和跟踪技术，涉及基于云边协同的多级人形检测与跟踪的方法和设备。

技术介绍

[0002]随着监控摄像头在各领域应用的普及，人们已经可以对各种居家、专业环境进行现场画面查看和历史画面回看，其中人形出现是监控画面最受用户关注的重点之一。越来越多的监控摄像头提供与人相关的检测和识别算法，进而在实时监控过程中及时对人相关的事件做出提醒，或者在历史画面数据中对人相关的事件进行标注以便用户查找时快速定位。
[0003]将人形检测作为前导检测环节可以兼顾各类人相关的事件的检测及识别需要，快速定位并缩小进一步事件分类的计算范围，极大提升整体的检测和识别的运算效率。人形检测与跟踪算法可能逐步成为提供识别能力的摄像头的基础算法之一。
[0004]目前业界的人形检测及跟踪算法的算力主要通过前端设备自身的CPU/GPU/NPU提供，或者由云端包括前端设备所在局域网内大算力中心设备和互联网上的服务器提供。通过前端设备提供算力，如果需要取得比较好的响应速度和检测准确率，前端设备的成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云边协同的多级人形检测与跟踪的方法，包括可提供有限算力的前端设备和可提供高算力的后端设备，其特征在于：前端设备进行低级图像语义的移动目标对象识别和前端人形初级检测；后端设备进行高级图像语义的后端人形二次检测，前端人形初级检测结果根据后端人形二次检测结果进行校验，将同一帧的非人形的移动目标对象与人形目标对象建立映射关系，生成本次移动目标对象
‑
人形目标对象映射表；将后续每一帧视频数据形成的移动目标对象管理表，与本次移动目标对象
‑
人形目标对象映射表进行匹配，输出每一帧视频数据对应的人形目标对象列表，作为人形检测及跟踪的决策依据；前端设备的移动目标对象检测频率高于后端设备的人形目标对象检测频率。2.根据权利要求1所述的一种基于云边协同的多级人形检测与跟踪的方法，其特征在于包括如下步骤：步骤1、前端设备对采集到的每一帧视频数据通过特定算法将移动网格符合预置连通规则的区域识别成非人形的移动目标对象，从而检测画面是否存在移动目标对象；当检测到画面存在移动目标对象，前端设备进行移动目标对象分析，生成并暂存本帧移动目标对象管理表，将前后帧移动目标对象管理表进行比对，根据移动目标对象跟踪规则进行移动目标对象拆分、合并或不做调整的判决，以识别原移动目标对象的延续和新移动目标对象的出现，并对所有移动目标对象进行跟踪，前端设备以高于人形目标对象检测和识别的频率迭代执行移动目标对象检测和跟踪；步骤2、前端设备对每次人形检测周期开始的首帧视频数据进行前端人形初级检测，若前端人形初级检测结果存在或疑似存在人形目标对象，则将该帧视频数据上传至后端设备进行步骤3的后端人形二次检测；否则，进入步骤4：步骤3、后端设备对前端设备上传的视频帧进行后端人形二次检测，并将后端人形二次检测结果返回给前端设备；步骤4、前端设备根据后端设备返回的后端人形二次检测结果对前端人形初级检测结果进行比对和校验，得到本次人形目标对象识别结果；步骤5、迭代执行本次人形目标对象识别结果与前次人形目标对象识别结果的合并步骤，每一次合并步骤都得到本次人形目标对象管理表并存储，按照人形目标对象追踪规则识别原人形目标对象的延续和新人形目标对象的出现；将同帧的移动目标对象管理表和人形目标对象管理表进行比对，根据对比结果和跟踪结果，将所有的非人形的移动目标对象与相关的人形目标对象建立映射关系，生成本次移动目标对象
‑
人形目标对象映射表；将后续每一帧视频数据形成的移动目标对象管理表，与本次移动目标对象
‑
人形目标对象映射表进行匹配，输出每一帧视频数据对应的人形目标对象列表，作为人形检测及跟踪的决策依据，前端设备人形目标对象检测和识别的频率明显低于非人形的移动目标对象检测和识别的频率，但不能过低以连续两帧人形检测能实现目标对象跟踪为限。3.根据权利要求2所述的一种基于云边协同的多级人形检测与跟踪的方法，其特征在于：人形目标对象检测频率为0.5
‑
1fps；移动目标对象检测频率为20
‑
30fps。4.根据权利要求2所述的一种基于云边协同的多级人形检测与跟踪的方法，其特征在于所述特定算法为如下任意一种：方法1.监测到有移动的网格连通域所在的矩形区域，识别为一个移动目标对象；方法2.监测到有移动的网格连通域所在的矩形区域，且两个相邻移动目标对象连接处
有移动的网格宽度≤两个相邻移动目标对象连接除网格总宽度，识别为一个移动目标对象；方法3.监测到有移动的网格连通域所在的矩形区域，且两个相邻移动目标对象连接处有移动的网格宽度＜两个相邻移动目标对象连接除网格总宽度，识别为一个移动目标对象。5.根据权利要求2所述的一种基于云边协同的多级人形检测与跟踪的方法，其特征在于所述移动目标对象追踪规则指的是：(1)相邻两帧中能找到对应移动目标对象的，将距离最近的识别为同一移动目标对象；(2)相邻两帧中能找到对应移动目标对象的，网格区域交叠数量最多的识别为同一移动目标对象；(3)相邻两帧中无法找到对应移动目标对象的，将前一帧中的移动目标对象合并至距离最近的相邻移动目标对象中；(4)相邻两帧中无法找到对应移动目标对象的，后一帧中的移动目标对象从距离最近的相邻移动目标对象中拆分出来。6.根据权利要求2所述的一种基于云边协同的多级人形检测与跟踪的方法，...

【专利技术属性】
技术研发人员：易骏，蔡方谊，陆镰文，
申请(专利权)人：广东恩威视科技有限公司，
类型：发明
国别省市：