基于边缘计算的低时延实时视频分析方法技术

本发明专利技术属于边缘计算、视频分析技术领域，更具体地，涉及一种基于边缘计算的低时延实时视频分析方法。提出了减少profiling阶段须分析的配置数量的方法；提出了动态配置和传统的图像差异比对相结合地动态过滤上传图像的方法；提出了合理、动态选择触发profiling的方法。本发明专利技术中Profiling主要阶段在边缘服务器完成，有效减少数据传输，减少资源占用；动态配置和图像差异比对相结合，更加适合动态变化的环境，以降低一个时隙内图像特征变化过快使得profiling阶段得到的配置不适合整个时隙带来的精度损失；Profiling的触发智能化，并不需要每个时隙都进行profiling，减少profiling对于带宽以及计算资源的消耗；通过采样最高帧率的结果来做低帧率的profiling，减少profiling阶段资源消耗。段资源消耗。

【技术实现步骤摘要】
基于边缘计算的低时延实时视频分析方法


[0001]本专利技术属于边缘计算、视频分析
，更具体地，涉及一种基于边缘 计算的低时延实时视频分析方法。

技术介绍

[0002]对于视频处理，国内外的学者已经进行了大量的研究，有些是从系统角度 出发，探究如何构建一个完整的、易操作的、兼容性强、各模块解耦的系统； 有的是理论出发，研究如何运用先进的算法来解决视频分析中的问题。在此， 做一个简单的介绍：MediaPipe是一个构建音视频流水线的框架，相似的还有 DeepStream SDK，这是一个针对英伟达GPU开发的提供TensorRT接口、视频 编解码、可视化等功能的框架。针对流水线式的应用，serverless也被应用在边 缘环境中来实现多机的协同。EdgeEye构建了一个基于边缘计算的实时视频处 理系统，它可以将图像发送给拥有丰富资源的设备去分析。VideoEdge关注如 何通过聚合在地理位置上分散存在的视频输入在降低计算开销的前提下尽可能 的提升准确率。VideoPipe聚焦在如何针对单一视频源进行视频处理。Mez是一 个在IoT边缘环境下的一个基于发布
‑
订阅的消息系统，它可以很好的服务于分 布式机器视觉应用。Mez允许使用者指定从摄像头传输到边缘服务器的网络延 时上限以及应用可以忍受的准确率下限，然后根据这两个阈值采用相应的图像 处理技术，如下采样、模糊、颜色空间转换等策略降低图像的传输数据量，选 择最合适的处理方式。Chameleon考虑到不同配置对视频分析准确率的影响的 动态变化特性，它提出了一个高效实时的定期分析技术来为每个时间段选择最 优的配置。但是Chameleon在做分析时会消耗大量的计算资源，针对这一问题， Woo
‑
Joong Kim根据发现的视频目标具有的潜在特性(速率、位置、大小)提 出了轻量级的视频分析方法，可以在保证准确率的同时，大幅降低资源消耗。 Jupiter是一个构建在kubernetes上的针对分散计算的容器调度框架，它的组件 主要有三个系统容器(分析容器、调度容器、执行容器)，它对于DAG类的任 务能节省客观的资源以及完成时间。上述研究在各自的任务领域都取得了不错 的结果，但是这其中仍然有一定的进步空间，有些方案不具备普适性，有的方 案聚焦的点不够广。上述提及的方案解决的维度不够广，可以有更进一步的处 理，使得效果得到更高的提升，同时本身算法带来的额外开销也不可忽略，这 与它实现算法的方式有关，为了达到高性能，算法本身过程本身会消耗不少资 源。同时没有考虑到实时性的要求，视频结果的质量以及流畅度没有优化。

技术实现思路

[0003]本专利技术为克服上述现有技术中的至少一个缺陷，提供一种基于边缘计算的 低时延实时视频分析方法，保证准确率损失在可接受范围内尽可能减少需要卸 载到边缘服务器的数据量，减少视频处理的时延。
[0004]为解决上述技术问题，本专利技术采用的技术方案是：一种基于边缘计算的低 时延实时视频分析方法，包括以下步骤：
[0005]S1.设备到边缘服务器延迟数据采集分析：定时更新设备到不同边缘服务器 的延迟来为上层的算法提供实时可靠的数据；
[0006]S2.动态配置分析：动态地根据视频内容配置视频流上传的参数以兼顾准 确率、资源消耗和时延的平衡；同时，进行动态profiling执行决策：通过动态 计算profiling判断是否需要在每个时隙均重新做profiling；
[0007]S3.图片选择决策：每次图片上传的决策由profiling生成的结果和图片差 异比对共同决定是否上传；
[0008]S4.服务器卸载决策：判断带宽以及计算能力是否足够容纳下新的任务加 入，如果可以，则完成卸载；如果无法容纳，则继续寻找延迟次小的目标服务 器。
[0009]进一步的，所述的步骤S1具体包括以下步骤：
[0010]S11.搭建时间同步服务：为了保证数据可靠性，需要保证各机器的时间是 同步的，因此，首先选择一台服务器作为时间服务器，在它上面部署ntp服务 的server端，其余机器即边缘服务器、设备作为client端，设置配置中的服务 器地址为选定的时间服务器IP；
[0011]S12.实时测量设备到服务器的延迟：每隔一段时间发送带时间戳和编号的 消息到不同边缘服务器，边缘服务器收到消息后，记录下当前时间，将收到的 消息和当前时间一同发回设备，这样就可以测量出单向的传输时延。
[0012]进一步的，所述的步骤S2中配置包括分辨率和帧率；在进行动态配置分析 时测量不同组合下视频分析结果的表现，采用最优配置1080p、30fps作为 groundtruth，不同组合下的效果的表现通过计算识别结果和groundtruth的F1 score作为准确率的衡量标准；F1 score是精度precision和召回率recall的调和 平均值；计算公式为：
[0013][0014][0015][0016]式中，true positves：实际上是正例的数据点被标记为正例；false positves： 实际上是反例的数据点被标记为正例；true negatives：实际上是反例的数据点被 标记为反例；false negatives：实际上是正例的数据点被标记为反例；
[0017]检测结果是目标种类以及位置坐标，truepositives的判别标准是：标记为相 同种类且它们的位置框重叠区域的面积占groundtruth的比值大于0.5；falsepositves的判别标准是：一个目标被标记为某一类，但在groundtruth上并没有 或在相同位置为其它种类或种类相同但是重叠区域面积占groundtruth的比例小 于0.5；false negatives的判别标准是：在groundtruth上标记的目标，在检测结 果中没有与之区域匹配的项。
[0018]进一步的，在所述的步骤S2中，当帧率小于最大配置时，每隔几帧上传一 帧图片，其中未上传图片使用时间上离它最近的上一帧图片的结果作为它的识 别结果；假设每个时隙有J张图片，使用j代表第j张图片，第j张图片上的目 标记为Oj＝{O1，O2，...}，最大帧
率设为dfs，当前帧率为fs，则第j张图片的 目标结果为：
[0019]O
j
＝O
j
‑
(j％δ)+1
，
[0020][0021]对于groundtruth的目标记为Gj，则1秒内平均准确率为：
[0022][0023]式中f1即为上文提及的F1 score。
[0024]进一步的，在所述的步骤S2中，对于不同分辨率、不同内容的图片，模型 处理的时间不一样，对于分辨率为fr的第j张图片的处理时间记为则1秒 内所需要的处理时间为：
[0025][0026]为了减少数据传输量，将profiling的过程放在服务器上进行，设备只需将 最优配置的图片上传到服务器，服务器将图片缩放至不同的分辨率以及进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘计算的低时延实时视频分析方法，其特征在于，包括以下步骤：S1.设备到边缘服务器延迟数据采集分析：定时更新设备到不同边缘服务器的延迟来为上层的算法提供实时可靠的数据；S2.动态配置分析：动态地根据视频内容配置视频流上传的参数以兼顾准确率、资源消耗和时延的平衡；同时，进行动态profiling执行决策：通过动态计算profiling判断是否需要在每个时隙均重新做profiling；S3.图片选择决策：每次图片上传的决策由profiling生成的结果和图片差异比对共同决定是否上传；S4.服务器卸载决策：判断带宽以及计算能力是否足够容纳下新的任务加入，如果可以，则完成卸载；如果无法容纳，则继续寻找延迟次小的目标服务器。2.根据权利要求1所述的基于边缘计算的低时延实时视频分析方法，其特征在于，所述的步骤S1具体包括以下步骤：S11.搭建时间同步服务：为了保证数据可靠性，需要保证各机器的时间是同步的，因此，首先选择一台服务器作为时间服务器，在它上面部署ntp服务的server端，其余机器即边缘服务器、设备作为client端，设置配置中的服务器地址为选定的时间服务器IP；S12.实时测量设备到服务器的延迟：每隔一段时间发送带时间戳和编号的消息到不同边缘服务器，边缘服务器收到消息后，记录下当前时间，将收到的消息和当前时间一同发回设备，这样就可以测量出单向的传输时延。3.根据权利要求2所述的基于边缘计算的低时延实时视频分析方法，其特征在于，所述的步骤S2中配置包括分辨率和帧率；在进行动态配置分析时测量不同组合下视频分析结果的表现，采用最优配置1080p、30fps作为groundtruth，不同组合下的效果的表现通过计算识别结果和groundtruth的F1 score作为准确率的衡量标准；F1 score是精度precision和召回率recall的调和平均值；计算公式为：计算公式为：计算公式为：式中，true positves：实际上是正例的数据点被标记为正例；false positves：实际上是反例的数据点被标记为正例；true negatives：实际上是反例的数据点被标记为反例；false negatives：实际上是正例的数据点被标记为反例；检测结果是目标种类以及位置坐标，truepositives的判别标准是：标记为相同种类且它们的位置框重叠区域的面积占groundtruth的比值大于0.5；false positves的判别标准是：一个目标被标记为某一类，但在groundtruth上并没有或在相同位置为其它种类或种类相同但是重叠区域面积占groundtruth的比例小于0.5；false negatives的判别标准是：在groundtruth上标记的目标，在检测结果中没有与之区域匹配的项。4.根据权利要求3所述的基于边缘计算的低时延实时视频分析方法，其特征在于，在所
述的步骤S2中，当帧率小于最大配置时，每隔几帧上传一帧图片，其中未上传图片使用时间上离它最近的上一帧图片的结果作为它的识别结果；假设每个时隙有J张图片，使用j代表第j张图片，第j张图片上的目标记为O
j
＝{O1，O2，
…
}，最大帧率设为dfs，当前帧率为fs，则第j张图片的目标结果为：O
j
＝O
j
‑
(j％δ)+1
,对于groundtruth的目标记为G
j
，则1秒内平均准确率为：式中f1即为上文提及的F1 score。5.根据权利要求4所述的基于边缘计算的低时延实时视频分析方法，其特征在于，在所述的步骤S2中，对于不同分辨率、不同内容的图片，模型处理的时间不一样，对于分辨率为fr的第j张图片的处理时间记为则1秒内所需要的处理时间为：为了减少数据传输量，将profi...

【专利技术属性】
技术研发人员：陈旭，张茂军，周知，
申请(专利权)人：中山大学，
类型：发明
国别省市：