一种基于端云协同的视频目标检测跟踪调度方法及系统技术方案

本申请公开了一种基于端云协同的视频目标检测跟踪调度方法及系统，方法包括：获取当前待测视频帧；以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，任务调度模型包括状态空间，决策空间及其奖励函数；利用模型预测控制算法计算执行多个调度策略的奖励值，选择奖励值最高的调度策略作为下一步的调度策略。本申请能够根据跟踪误差、预测带宽和能耗变化数据，使用模型预测控制算法生成检测跟踪调度策略，以实现对移动端视频帧检测与跟踪的调度，并拥有更高的检测精度和更低的能耗。

【技术实现步骤摘要】
一种基于端云协同的视频目标检测跟踪调度方法及系统
本申请涉及目标跟踪
，尤其涉及一种基于端云协同的视频目标检测跟踪调度方法及系统。
技术介绍
随着5G时代的到来，无人驾驶，AR设备、VR设备，智能家居等移动端应用开始逐渐涌现，视频帧检测对于这些应用是不可或缺的，例如在十字路口的摄像头检测到行人闯红灯，可以通过警示灯给汽车驾驶者发出一个信号，避免交通事故的发生。在驾驶，旅游等方面，基于AR视频的应用发展前景广阔，这些应用要求移动设备能够准确、连续和实时地检测和跟踪物体。然而，由于大多数移动端设备计算资源和电池寿命有限，无法满足日益复杂的应用需求。端云协同被认为是解决这个关键问题的有效计算范式。资源受限的移动设备可以通过无线传输将任务分配到云端，然后云端服务器进行计算并返回计算结果。需要注意的是，端云协同计算并非完全替代技术成熟的传统云计算，而是将本地与云端结合，通过利用本地计算和云计算各自不同的特性进行协同工作。针对移动端的视频检测任务，任务卸载技术是一个重要的技术手段，将计算密集型的检测任务卸载到云端，可以有效的扩展移动设备的计算能力。然而移动端和云端之间的带宽和信道条件往往是不稳定的，检测任务会受到网络延迟和抖动等条件的影响。当网络状况较差时，云计算反而会使移动端应用无法正常工作。与此同时，设备能耗对于移动端设备是至关重要的指标。目前在端云协同方面的研究主要有以下两种方法：一种是将检测任务卸载到云端的目标检测系统，本地来跟踪这些视频帧，使用固定调度控制策略对检测和跟踪任务进行调度，该类方法缺乏对网络状况的适应性，同时忽略了视频中场景变化速度，容易产生大量的漏检，从而导致检测精度降低；另一种方法是将检测任务和跟踪任务都放在本地执行，使用基于关键帧检测的调度控制策略来保持检测精度，然而，上述方法不能有效地利用云端资源，对移动端设备的电能储备要求高，无法达到减少能耗提升设备使用时长的目标。
技术实现思路
本申请实施例提供了一种基于端云协同的视频目标检测跟踪调度方法及系统，能够根据跟踪误差、预测带宽和能耗变化数据，使用模型预测控制算法生成检测跟踪调度策略，以实现对移动端视频帧检测与跟踪的调度，拥有更高的检测精度和更低的能耗。有鉴于此，本申请第一方面提供了一种基于端云协同的视频目标检测跟踪调度方法，所述方法包括：获取当前待测视频帧；以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，所述任务调度模型包括状态空间，决策空间及其奖励函数；利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，所述调度策略包括将所述当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测。可选的，在所述以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，所述任务调度模型包括状态空间，决策空间及其奖励函数，之前还包括：建立考虑视频帧检测精度，视频帧跟踪误差以及设备能耗的所述用户体验指标。可选的，所述用户体验指标为：式中，APt表示t时刻的视频帧检测精度；et表示t时刻的视频帧跟踪误差；B表示设备能耗；λ为视频帧跟踪误差的非负加权参数，μ为设备能耗的非负加权参数。可选的，所述状态空间，决策空间及其奖励函数分别为：所述状态空间为：所述决策空间为：at＝(Dlocal,Dcloud320,Dcloud608,DT)所述奖励函数的映射关系为r:S×A→R，奖励函数具体表达式为：Rt＝r(st,at)式中，N’t+1表示t+1时刻的预测带宽大小；Bt表示每个调度模块的能耗大小；表示时刻t的目标跟踪误差；表示时刻t的新物体扰动误差；Dlocal表示本地检测分辨率为320×320，Dcloud320表示云端检测上传分辨率为320×320，Dcloud608表示云端检测上传分辨率为608×608，DT表示目标检测。可选的，所述利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，包括：at＝fmpc(Rt)式中，fmpc()表示模型预测控制算法，表示奖励值对应的调度策略。本申请第二方面提供了一种基于端云协同的视频目标检测跟踪调度系统，所述系统包括：待测视频获取模块，用于获取当前待测视频帧；模型构建模块，用于以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，所述任务调度模型包括状态空间，决策空间及其奖励函数；策略调度模块，用于利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，所述调度策略包括将所述当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测。可选的，还包括：用户体验指标构建模块，用于建立考虑视频帧检测精度，视频帧跟踪误差以及设备能耗的所述用户体验指标。可选的，所述用户体验指标为：式中，APt表示t时刻的视频帧检测精度；et表示t时刻的视频帧跟踪误差；B表示设备能耗；λ为视频帧跟踪误差的非负加权参数，μ为设备能耗的非负加权参数。可选的，所述状态空间，决策空间及其奖励函数分别为：所述状态空间为：所述决策空间为：at＝(Dlocal,Dcloud320,Dcloud608,DT)所述奖励函数的映射关系为r:S×A→R，奖励函数具体表达式为：Rt＝r(st,at)式中，N’t+1表示t+1时刻的预测带宽大小；Bt表示每个调度模块的能耗大小；表示时刻t的目标跟踪误差；表示时刻t的新物体扰动误差；Dlocal表示本地检测分辨率为320×320，Dcloud320表示云端检测上传分辨率为320×320，Dcloud608表示云端检测上传分辨率为608×608，DT表示目标检测。可选的，所述策略调度模块具体用于利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，调度策略公式为：at＝fmpc(Rt)式中，fmpc()表示模型预测控制算法，表示奖励值对应的调度策略。从以上技术方案可以看出，本申请具有以下优点：本申请中，提供了一种基于端云协同的视频目标检测跟踪调度方法，包括：获取当前待测视频帧；以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，任务调度模型包括状态空间，决策空间及其奖励函数；利用模型预测控制算法计算执行多个调度策略的奖励值，选择奖励值最高的调度策略作为下一步的调度策略，调度策略包括将当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测本文档来自技高网...

【技术保护点】
1.一种基于端云协同的视频目标检测跟踪调度方法，其特征在于，包括：/n获取当前待测视频帧；/n以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，所述任务调度模型包括状态空间，决策空间及其奖励函数；/n利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，所述调度策略包括将所述当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测。/n

【技术特征摘要】
1.一种基于端云协同的视频目标检测跟踪调度方法，其特征在于，包括：
获取当前待测视频帧；
以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，所述任务调度模型包括状态空间，决策空间及其奖励函数；
利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，所述调度策略包括将所述当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测。


2.根据权利要求1所述的基于端云协同的视频目标检测跟踪调度方法，其特征在于，在所述以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，所述任务调度模型包括状态空间，决策空间及其奖励函数，之前还包括：
建立考虑视频帧检测精度，视频帧跟踪误差以及设备能耗的所述用户体验指标。


3.根据权利要求1所述的基于端云协同的视频目标检测跟踪调度方法，其特征在于，所述用户体验指标为：



式中，APt表示t时刻的视频帧检测精度；et表示t时刻的视频帧跟踪误差；B表示设备能耗；λ为视频帧跟踪误差的非负加权参数，μ为设备能耗的非负加权参数。


4.根据权利要求1所述的基于端云协同的视频目标检测跟踪调度方法，其特征在于，所述状态空间，决策空间及其奖励函数分别为：
所述状态空间为：



所述决策空间为：
at＝(Dlocal,Dcloud320,Dcloud608,DT)
所述奖励函数的映射关系为r:S×A→R，奖励函数具体表达式为：
Rt＝r(st,at)
式中，N′t+1表示t+1时刻的预测带宽大小；Bt表示每个调度模块的能耗大小；表示时刻t的目标跟踪误差；表示时刻t的新物体扰动误差；Dlocal表示本地检测分辨率为320×320，Dcloud320表示云端检测上传分辨率为320×320，Dcloud608表示云端检测上传分辨率为608×608，DT表示目标检测。


5.根据权利要求1所述的基于端云协同的视频目标检测跟踪调度方法，其特征在于，所述利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，包括：
at＝fmpc(Rt)
式中，fmpc()表示模型预测控制算法，表示奖励值对应...

【专利技术属性】
技术研发人员：李昌镐，谭光，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44