面向无线边缘网络中视频流服务的实时目标检测方法技术

本发明专利技术公开了一种面向无线边缘网络中视频流服务的实时目标检测方法。针对无线边缘网络链路质量的动态性以及视频流内容的不确定性问题，提出了一个轻量的用来度量无线网络链路的细粒度动态性的标准“帧

【技术实现步骤摘要】
面向无线边缘网络中视频流服务的实时目标检测方法


[0001]本专利技术涉及一种目标检测方法，并具体涉及一种面向无线边缘网络中视频流服务的实时目标检测方法。

技术介绍

[0002]基于视觉的实时目标检测已经成为了许多智慧城市应用的基础服务，它被广泛应用在诸如自动驾驶、交通控制和数字孪生等领域中。例如，在伦敦的摄像头网络中，实时目标检测常被用于智能交通控制和安全检测。在自动驾驶系统中，车辆需要检测并追踪物理对象和路标以避障和自主导航。目标检测通常涉及需要大量计算资源的机器学习方法，终端摄像头设备无法提供足够的算力与资源，不具备在本地运行该类应用的计算能力，因此边缘协同的目标检测成为了一个有前景的解决方案。
[0003]在边缘协同的目标检测中，前端设备将捕获到的视频帧卸载到附近的边缘服务器上。服务器执行推理过程并将结果返回给前端设备。实时目标检测需要尽可能低的时延，但由于视频流需要巨大的传输开销和计算工作量，端到端的时延过大，无法满足应用的低时延需求。例如，分析一个30FPS(帧每秒)的720p实时视频要求每帧在33.3ms内返回检测结果。但是一个帧的总延迟可能在100
‑
150ms之间，这个巨大的延迟是无法满足要求的。
[0004]为了降低总时延，现有做法引入了一个检测
‑
追踪架构，将选择出的一些帧卸载到服务器上。基于这些选出的帧的检测结果，前端设备使用一个轻量级的追踪器在本地预测剩余帧中物体的位置。通过这种方法，便可以满足实时目标检测中严格的时延要求。
[0005]但现有做法往往假设链路是稳定的，而实际情况中链路常会有频繁的变化，具有很强的动态性。这会导致出现意想不到的延迟，或者无法充分利用链路资源，由此可能会显著降低检测的准确性，增大总时延。
[0006]鉴于此，一种能够降低目标检测的总延迟，提高目标检测准确性的方法，是本领域所亟需的。

技术实现思路

[0007]为了解决或缓解上述部分或全部技术问题，本专利技术是通过如下技术方案实现的：
[0008]一种面向无线边缘网络中视频流服务的实时目标检测方法，通过前端设备执行本地追踪和边缘服务器执行边缘识别的方式，使得前端设备实时输出目标检测的结果，选择若干关键帧卸载到边缘服务器上，边缘服务器执行目标检测方法检测到目标后，将识别结果返回给前端设备；前端设备得到结果后，在本地运行追踪方法，在其它帧中追踪目标物体，预测剩余帧中的目标位置；并且，前端设备根据帧
‑
锚帧距离执行对待卸载关键帧的选择；其中，所述帧
‑
锚帧距离的定义为：帧f
i
的帧
‑
锚帧距离θ
i
定义为：其中n
i
是帧f
i
的帧序号，表示帧f
i
的锚帧的序号；锚帧是结果在帧f
i
的输出时间to
i
之前返回的上一帧；即：其中，to
i
是帧f
i
的输出时间；是帧f
i
的可用锚帧
的集合；为帧f
k
检测结果的预估返回时间，是由该帧被捕获的时间、帧的上传时间、边缘服务器的处理时间以及计算结果的下载时间计算得出。
[0009]在某实施例中，选择每个窗口内精度退化最小的帧进行卸载。
[0010]在某实施例中，选择每个窗口内精度退化最小的帧是基于目标函数：
[0011][0012]其中，表示窗口ω中所有帧的集合，表示由所有帧使用的分辨率定义的全部的解决方案，若某个帧的分辨率被设置为0，则表示该帧不被卸载；并且，
[0013][0014]D
ω
(f
i
)表示帧f
i
在窗口ω的精度退化，θ
i
表示帧f
i
的锚帧，表示帧f
i
的锚帧的分辨率配置；ψ(r)表示给定分辨率r所对应的精度，φ
ω
(θ
i
)表示在窗口ω的帧
‑
锚帧距离θ
i
所对应的精度下降值。
[0015]在某实施例中，对待卸载关键帧的选择时，分为第一阶段和第二阶段；在所述第一阶段，使用固定的分辨率配置v0去优选帧选择；在第二阶段，基于第一阶段的结果去调整分辨率配置，从而达到最优的检测准确率。
[0016]在某实施例中，所述第一阶段，包括如下步骤：
[0017]前端设备首先使用链路质量估计方法来分别估计上行链路和下行链路的可用带宽；
[0018]然后利用历史数据更新函数φ
ω
(θ)，以将网络链路和视频流内容的变化纳入准确性中；
[0019]考虑到服务器资源的动态变化以及帧计算量的变化，在每个窗口中周期性地更新最大卸载帧数
[0020]在某实施例中，所述第一阶段，还包括如下步骤：根据均匀划分原则在当前窗口ω中选择卸载帧。
[0021]在某实施例中，在所述第二阶段，获得一个基本的以最低分辨率卸载的策略，然后逐渐提高该策略中选出的帧的分辨率。
[0022]在某实施例中，在所述第二阶段，具体包括如下步骤：首先，利用第一阶段的方法获得具有最低分辨率的卸载决策作为基准；然后，在累积精度下降最大的两个卸载帧之间定位范围[f
i
,f
j
]；迭代执行前述两个步骤至最大次数后，获得最终结果。
[0023]在某实施例中，D
ω
(f
i
)表示帧f
i
在窗口ω的精度退化，且将会在每个窗口定期更新。
[0024]在某实施例中，所述帧
‑
锚帧距离，反映链路的动态变化的影响。
[0025]在某实施例中，本专利技术所披露一种面向无线边缘网络中视频流服务的实时目标检测方法，通过本地追踪
‑
边缘识别的方式，使得在计算资源有限的终端设备也可以实时输出复杂任务目标检测的结果。
[0026]在某实施例中，将无线网络链路的细粒度动态性和视频流内容的不确定性结合考虑，设计一个面向动态边缘网络中链路自适应的实时视频目标检测机制，进行更高效的卸
载帧选择，从而在保障应用实时性输出的前提下提高检测准确性。
[0027]在某实施例中，挖掘本地追踪
‑
边缘识别的机制下链路质量的影响，提出一个轻量级新型度量标准“帧
‑
锚帧距离”，将难以测量并量化的实时链路质量对目标检测的性能影响转换为易测量的标准，便于终端设备进行帧卸载时将实时无线链路质量纳入考量。
[0028]在某实施例中，结合前述的新型度量标准“帧
‑
锚帧距离”，将面向动态边缘网络中链路自适应的实时目标检测的帧卸载问题，建模并形式化表达为一个整数非线性规划问题，以在满足严格时延限制的要求下最大化平均识别准确性。
[0029]在某实施例中，提出的链路自适应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向无线边缘网络中视频流服务的实时目标检测方法，通过前端设备执行本地追踪和边缘服务器执行边缘识别的方式，使得前端设备实时输出目标检测的结果，其特征在于：选择若干关键帧卸载到边缘服务器上，边缘服务器执行目标检测方法检测到目标后，将识别结果返回给前端设备；前端设备得到结果后，在本地运行追踪方法，在其它帧中追踪目标物体，预测剩余帧中的目标位置；并且，前端设备根据帧
‑
锚帧距离执行对待卸载关键帧的选择；其中，所述帧
‑
锚帧距离的定义为：帧f
i
的帧
‑
锚帧距离θ
i
定义为：其中n
i
是帧f
i
的帧序号，表示帧f
i
的锚帧的序号；锚帧是结果在帧f
i
的输出时间to
i
之前返回的上一帧；即：其中，to
i
是帧f
i
的输出时间；是帧f
i
的可用锚帧的集合；为帧f
k
检测结果的预估返回时间，是由该帧被捕获的时间、帧的上传时间、边缘服务器的处理时间以及计算结果的下载时间计算得出。2.根据权利要求1所述的面向无线边缘网络中视频流服务的实时目标检测方法，其特征在于：选择每个窗口内精度退化最小的帧进行卸载。3.根据权利要求2所述的面向无线边缘网络中视频流服务的实时目标检测方法，其特征在于：选择每个窗口内精度退化最小的帧是基于目标函数：其中，表示窗口ω中所有帧的集合，表示由所有帧使用的分辨率定义的全部的解决方案，若某个帧的分辨率被设置为0，则表示该帧不被卸载；并且，D
ω
(f
i
)表示帧f
i
在窗口ω的精度退化，θ
i
表示帧f
i
的锚帧，表示帧f
i
的锚帧的分辨率配置；ψ(r)表示给定分辨率r所对应的精度，φ
ω
(θ
i

【专利技术属性】
技术研发人员：闵革勇，赵志为，丛荣，王坤，张林元齐，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：