视频分析方法及设备技术

本发明专利技术提供一种视频分析方法及设备，该视频分析方法包括：获取摄像头采集的实时视频图像；采用第一目标识别模型对所述实时视频图像进行目标识别，得到第一识别结果和所述第一识别结果的置信度；若所述第一识别结果的置信度超过第一预设阈值，将所述第一识别结果发送给服务器端；若所述第一识别结果的置信度未超过所述第一预设阈值，继续采用所述第一目标识别模型对所述实时视频图像进行目标识别得到第二识别结果和所述第二识别结果的置信度并记录，并将记录的至少一个第二识别结果中的目标第二识别结果发送给服务器端进一步进行目标识别。本发明专利技术的方法可以在保证目标识别准确度的基础上，有效节省视频分析系统的网络传输带宽。宽。宽。

【技术实现步骤摘要】
视频分析方法及设备


[0001]本专利技术实施例涉及视频分析
，尤其涉及一种视频分析方法及设备。

技术介绍

[0002]计算机视觉(Computer Vision，CV)广泛应用于智慧城市、工业生产等场景，有效提升了社会治理和工业水平。CV的实时视频分析需要大量的深度神经网络计算处理资源。现有技术主要的处理方式是首先由摄像头将实时采集到的视频流传输到边缘服务器，接着由边缘服务器运行目标识别模型来获取有关该视频的分析结果。此类流程旨在以高准确率、低延迟和低带宽消耗提供视频分析结果。然而，同时满足这三个指标是有挑战的，因为它们之间存在相互冲突的关系。例如，在摄像头传输视频流到边缘服务器时，使用更高的视频比特率可以提高识别精度，但同时也会导致传输延迟和网络传输带宽的增加。
[0003]之前的许多研究工作围绕着提高视频分析效率展开，尽管这些工作都从各自的角度优化了视频分析处理流程，但距离能够同时满足三个指标(即高准确率、低延迟和低带宽消耗)的实用系统还有很远的距离。

技术实现思路

[0004]本专利技术实施例提供一种视频分析方法及设备，用于解决现有的视频分析方法难以达到高准确率、低延迟和低带宽消耗的要求的问题。
[0005]为了解决上述技术问题，本专利技术是这样实现的：
[0006]第一方面，本专利技术实施例提供了一种视频分析方法，包括：
[0007]获取摄像头采集的实时视频图像；
[0008]采用第一目标识别模型对所述实时视频图像进行目标识别，得到第一识别结果和所述第一识别结果的置信度；
[0009]若所述第一识别结果的置信度超过第一预设阈值，将所述第一识别结果发送给服务器端；
[0010]若所述第一识别结果的置信度未超过所述第一预设阈值，继续采用所述第一目标识别模型对所述实时视频图像进行目标识别得到第二识别结果和所述第二识别结果的置信度并记录，并将记录的至少一个第二识别结果中的目标第二识别结果发送给服务器端进一步进行目标识别。
[0011]可选的，继续采用所述第一目标识别模型对所述实时视频图像进行目标识别得到第二识别结果和所述第二识别结果的置信度并记录，并将记录的至少一个第二识别结果中的目标第二识别结果发送给服务器端进一步进行目标识别，包括：
[0012]记录第二识别结果和所述第二识别结果的置信度；
[0013]判断当前端到端延迟是否超过所述预设延迟上限以及目标对象是否被成功追踪到；
[0014]若当前端到端延迟超过所述预设延迟上限且所述目标对象被成功追踪到，或者，
当前端到端延迟未超过预设延迟上限但所述目标对象未能被成功追踪，将之前记录的所述目标对象的置信度最高的所述第二识别结果作为所述目标第二识别结果发送给所述服务器端进一步进行目标识别。
[0015]可选的，判断目标对象是否被成功追踪到，包括：
[0016]对于每个目标对象，若连续两次识别的第二识别结果中的识别边界框的交集与并集的比值超过第二预设阈值，判定能够追踪到所述目标对象。
[0017]可选的，所述视频分析方法还包括：
[0018]周期性地或者根据需求，将目标数据集合发送给所述服务器端，每个所述目标数据包括所述摄像头端采用所述第一目标识别模型对视频图像进行目标识别得到的第三识别结果和所述第三识别结果的置信度，以使得所述服务器端根据所述第三识别结果和所述第三识别结果的置信度，对所述第一预设阈值进行调整。
[0019]可选的，所述目标数据集合包括第一目标数据集合和第二目标数据集合，所述第一目标数据集合中的第三识别结果的置信度超过所述第一预设阈值，所述第二目标数据集合中的第三识别结果的置信度未超过所述第一预设阈值。
[0020]第二方面，本专利技术实施例提供了一种视频分析方法，包括：
[0021]接收摄像头端发送的目标第二识别结果，所述目标第二识别结果为从至少一个第二识别结果中选取，所述第二识别结果为所述摄像头端采用第一目标识别模型对摄像头采集的实时视频图像进行目标识别得到，所述第二识别结果的置信度未超过第一预设阈值；
[0022]采用第二目标识别模型对所述目标第二识别结果进一步进行目标识别，得到第四识别结果。
[0023]可选的，所述视频分析方法还包括：
[0024]接收所述摄像头端发送的目标数据集合，每个所述目标数据包括所述摄像头端采用所述第一目标识别模型对视频图像进行目标识别得到的第三识别结果和所述第三识别结果的置信度；
[0025]采用所述第二目标识别模型对所述第三识别结果进一步进行目标识别，得到第五识别结果；
[0026]根据所述第五识别结果和所述第三识别结果，对所述第一预设阈值进行调整；
[0027]将调整后的所述第一预设阈值发送给所述摄像头端。
[0028]可选的，所述目标数据集合包括第一目标数据集合和第二目标数据集合，所述第一目标数据集合中的第三识别结果的置信度超过所述第一预设阈值，所述第二目标数据集合中的第三识别结果的置信度未超过所述第一预设阈值；
[0029]根据所述第五识别结果和对应的所述第三识别结果，对所述第一预设阈值进行调整，包括：
[0030]统计所述第一目标数据集合和第二目标数据集合中的第三识别结果与对应的所述第五识别结果识别一致的目标数据的数量；
[0031]若所述第一目标数据集合中，识别一致的目标数据的数量占比小于第三预设阈值，则提高所述第一预设阈值；
[0032]若所述第二目标数据集合中，识别一致的目标数据的数量占比大于第四预设阈值，则降低所述第一预设阈值。
[0033]第三方面，本专利技术实施例提供了一种摄像头端设备，包括：
[0034]获取模块，用于获取摄像头采集的实时视频图像；
[0035]第一识别模块，用于采用第一目标识别模型对所述实时视频图像进行目标识别，得到第一识别结果和所述第一识别结果的置信度；
[0036]第一处理模块，用于若所述第一识别结果的置信度超过第一预设阈值，将所述第一识别结果发送给服务器端；
[0037]第二处理模块，用于若所述第一识别结果的置信度未超过所述第一预设阈值，继续采用所述第一目标识别模型对所述实时视频图像进行目标识别得到第二识别结果和所述第二识别结果的置信度并记录，并将记录的至少一个第二识别结果中的目标第二识别结果发送给服务器端进一步进行目标识别。
[0038]可选的，所述摄像头端设备还包括：
[0039]调整模块，用于周期性地或者根据需求，将目标数据集合发送给所述服务器端，每个所述目标数据包括所述摄像头端采用所述第一目标识别模型对视频图像进行目标识别得到的第三识别结果和所述第三识别结果的置信度，以使得所述服务器端根据所述第三识别结果和所述第三识别结果的置信度，对所述第一预设阈值进行调整。
[0040]第四方面，本专利技术实施例提供了一种服务器端设备，包括：
[0041]第一接收模块，用于接收摄像头端发送的目标第二识别结果，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频分析方法，其特征在于，包括：获取摄像头采集的实时视频图像；采用第一目标识别模型对所述实时视频图像进行目标识别，得到第一识别结果和所述第一识别结果的置信度；若所述第一识别结果的置信度超过第一预设阈值，将所述第一识别结果发送给服务器端；若所述第一识别结果的置信度未超过所述第一预设阈值，继续采用所述第一目标识别模型对所述实时视频图像进行目标识别得到第二识别结果和所述第二识别结果的置信度并记录，并将记录的至少一个第二识别结果中的目标第二识别结果发送给服务器端进一步进行目标识别。2.根据权利要求1所述的方法，其特征在于，继续采用所述第一目标识别模型对所述实时视频图像进行目标识别得到第二识别结果和所述第二识别结果的置信度并记录，并将记录的至少一个第二识别结果中的目标第二识别结果发送给服务器端进一步进行目标识别，包括：记录第二识别结果和所述第二识别结果的置信度；判断当前端到端延迟是否超过所述预设延迟上限以及目标对象是否被成功追踪到；若当前端到端延迟超过所述预设延迟上限且所述目标对象被成功追踪到，或者，当前端到端延迟未超过预设延迟上限但所述目标对象未能被成功追踪，将之前记录的所述目标对象的置信度最高的所述第二识别结果作为所述目标第二识别结果发送给所述服务器端进一步进行目标识别。3.根据权利要求2所述的方法，其特征在于，判断目标对象是否被成功追踪到，包括：对于每个目标对象，若连续两次识别的第二识别结果中的识别边界框的交集与并集的比值超过第二预设阈值，判定能够追踪到所述目标对象。4.根据权利要求1至3任一项所述的方法，其特征在于，还包括：周期性地或者根据需求，将目标数据集合发送给所述服务器端，每个所述目标数据包括所述摄像头端采用所述第一目标识别模型对视频图像进行目标识别得到的第三识别结果和所述第三识别结果的置信度，以使得所述服务器端根据所述第三识别结果和所述第三识别结果的置信度，对所述第一预设阈值进行调整。5.根据权利要求4所述的方法，其特征在于，所述目标数据集合包括第一目标数据集合和第二目标数据集合，所述第一目标数据集合中的第三识别结果的置信度超过所述第一预设阈值，所述第二目标数据集合中的第三识别结果的置信度未超过所述第一预设阈值。6.一种视频分析方法，其特征在于，包括：接收摄像头端发送的目标第二识别结果，所述目标第二识别结果为从至少一个第二识别结果中选取，所述第二识别结果为所述摄像头端采用第一目标识别模型对摄像头采集的实时视频图像进行目标识别得到，所述第二识别结果的置信度未超过第一预设阈值；采用第二目标识别模型对所述目标第二识别结果进一步进行目标识别，得到第四识别结果。7.根据权利要求6所述的方法，其特征在于，还包括：接收所述摄像头端发送的目标数据集合，每个所述目标数据包括所述摄像头端采用所
述第一目标识别模型对视频图像进行目标识别得到的第三识别结果和所述第三识别结果的置信度；采用所述第二目标识别模型对所述第三识别结果进一步进行目标识别，得到第五识别结果；根据所述第五识别结果和所述第三识别结果，对所述第一预设阈值进行调整；将调整后的所述第一预设阈值发送给所述摄像头端。8.根据权利要求7所述的方法，其特征在于，所述目标数据集合包括第一目标数据集合和第二目标数据集合，所述第一目标数据集合中的第三识别结果的置信度超过所述第一预设阈值，所述第二目标数据集合中的第三识别结果的置...

【专利技术属性】
技术研发人员：崔勇，王子逸，何小昱，张一硕，张志臻，杜宗鹏，刘鹏，
申请(专利权)人：清华大学中国移动通信集团有限公司，
类型：发明
国别省市：