一种基于DRL的边缘视频目标检测任务卸载方法及系统技术方案

本发明专利技术公开了一种基于深度强化学习的边缘视频目标检测任务卸载方法及系统，本发明专利技术方法包括如下步骤：S1，建立多终端设备单MEC服务器的系统模型；S2，建立处理视频任务的时延模型；S3，建立处理视频任务的能耗模型；S4，建立优化目标为最小化MEC系统任务处理时延与能耗加权成本的问题模型；S5，设计基于深度强化学习的视频任务卸载策略；S6，初始化网络权重、经验回放池、MEC系统各队列状态；S7，终端设备根据卸载策略执行卸载决策并与环境交互；S8，抽取经验样本更新网络权重；S9，重复上述步骤S7、S8，直至奖励曲线收敛。本发明专利技术使终端设备根据环境状态输出最优卸载决策，达到最小的系统成本。本。本。

【技术实现步骤摘要】
一种基于DRL的边缘视频目标检测任务卸载方法及系统


[0001]本专利技术属于计算机
，涉及数据处理技术，具体涉及一种基于深度强化学习的边缘视频目标检测任务卸载方法及系统。

技术介绍

[0002]随着物联网(Internet of Things，IoT)、车联网和移动互联网的高速发展，计算密集型和时延敏感型的应用程序随之增加，基于移动云计算(Mobile Cloud Computing，MCC)的集中式任务卸载方案很难适用该类场景。同时，具有数据隐私性、数据敏感性特点的应用，将其数据传输或存储于云服务器的方式难以保证其安全性。移动边缘计算(Mobile Edge Computing，MEC)作为一种新兴计算范式，通过在终端设备更近的网络边缘部署计算资源，进而使云服务更贴近用户。
[0003]视频分析类应用产生的目标检测(Object Detection)计算任务通常涉及多个计算环节，且各环节间具有复杂的依赖性。近年来，目标检测领域中已出现YOLO系列、MobileNet等多种轻量化计算机视觉算法。此外，随着移动手机、网络摄像头等终端设备的硬件升级，配备GPU(或NPU)加速计算芯片的终端设备能够运行上述算法，独立完成一定的视频分析任务。然而，视频分析应用通常要求是低时延和快速响应的，终端设备仍受其功耗或存储资源等限制，难以满足该类应用需求。
[0004]因此，终端设备通过结合MEC计算卸载技术，将视频分析任务卸载至边缘服务器进行处理，进而扩展了终端设备计算能力以及有效降低视频任务处理时延。近年来，越来越多的研究聚焦于任务卸载策略的设计与优化。一方面，大多数基于启发式算法和遗传算法等传统优化方法难以适用高度动态的MEC网络场景；另一方面，基于强化学习(Reinforcement Learning，RL)算法的卸载策略虽能适应MEC动态环境，但随着状态空间和动作空间增大，以表格形式存储状态价值的RL算法将面临维度爆炸的挑战。对此，深度强化学习(Deep Reinforcement Learning，DRL)算法通过结合RL算法的动态适用能力和深度神经网络(Deep Neural Network，DNN)强大的拟合能力，进而对高维复杂状态信息进行表征。通过检索现有技术获得，Lu等人针对大规模多节点MEC系统，提出了一种基于深度Q网络(Deep
‑
Q
‑
Network，DQN)的任务卸载方案。Zhang等人考虑多设备MEC场景下任务卸载率和本地计算能力为连续型数值，提出了一种基于Actor
‑
Critic算法的任务卸载方案。Du等人考虑无线信道的时变性，提出了一种基于DRL的解决方案，学习最优视口渲染卸载和传输功率以最小化能耗。然而，上述文献均未综合考虑视频分析任务复杂计算过程的高效处理，以及MEC网络时变性对视频任务卸载决策的动态影响。

技术实现思路

[0005]针对现有技术存在的不足，本专利技术提出了一种MEC中视频目标检测任务的计算卸载方法及系统，本专利技术通过优化MEC系统中各终端设备的卸载决策，实现任务时延和能耗的加权成本最小化。
[0006]本专利技术采取如下技术方案：
[0007]一种基于DRL的边缘视频目标检测任务卸载方法，包括如下步骤：
[0008]S1，建立多终端设备单MEC服务器的系统模型；
[0009]S2，建立处理视频任务的时延模型；
[0010]S3，建立处理视频任务的能耗模型；
[0011]S4，建立优化目标为最小化MEC系统任务处理时延与能耗加权成本的问题模型；
[0012]S5，设计基于深度强化学习的视频任务卸载策略；
[0013]S6，初始化网络权重、经验回放池、MEC系统各队列状态；
[0014]S7，终端设备根据卸载策略执行卸载决策并与环境交互；
[0015]S8，抽取经验样本更新网络权重；
[0016]S9，重复上述步骤S7、S8，直至奖励曲线收敛。
[0017]本专利技术考虑一个由单个MEC服务器和多个相同硬件配置的终端设备构成的MEC系统模型。其中，终端设备集合定义为M＝{1,2,...,M}，m∈M定义为设备索引；各设备通过无线连接至MEC服务器，MEC服务器为终端设备提供计算资源。
[0018]优选的，步骤S1具体如下：
[0019]S1.1，建立视频分析任务模型
[0020]MEC系统时间可由时隙集合T＝{1,2,...,T}来表示，时隙索引和时隙长度分别由t∈T和Δ(单位为秒)表示。假定在每个时隙起始时刻，各终端设备均产生一个视频分析任务V
m
(t)＝{Z
m
(t),D
m
(t)}。其中，Z
m
(t)表示视频任务的数据大小(单位为bit)，D
m
(t)表示该视频任务的时长(单位为秒)。
[0021]S1.2，设计视频任务卸载决策
[0022]为实现“边
‑
端”协同处理视频任务，本专利技术考虑在视频任务执行计算前，将视频按其时间轴均等切分为多个视频片段(Video chunk，下面简称视频块)。进而，一个完整的视频分析任务的卸载问题被转化为多个子任务卸载问题。具体地，终端设备对任务V
m
(t)切分后产生的视频块数量定义为K
m
(t)，即视频块的数量。则由式(1)表示：
[0023][0024]其中，d表示单个视频块时长(单位为秒)。将该终端设备m在时刻t的卸载决策定义为任务V
m
(t)的卸载率α
m
(t)∈[0,1]。因此，任务V
m
(t)执行卸载的视频块数量如式(2)所示：
[0025][0026]上式中表示向上取整。进而，任务V
m
(t)在本地计算的视频块数量表示为：
[0027][0028]优选的，步骤S2，建立处理视频任务的时延模型，具体如下；
[0029]对于视频分析类应用来说，其计算时延通常作为重点关注的应用需求之一，计算结果需要在低时延下及时反馈至用户或汇总至服务器。本专利技术研究主要集中于工业互联网中生产质检等场景，故后续实验场景将计算结果汇总于MEC服务器集中管理。
[0030]S2.1，建立视频任务本地计算的时延模型
[0031]针对视频目标检测任务的计算流程，对任务V
m
(t)切分预处理后，视频块的本地计算流程为：视频编解码(Video codec)、深度学习模型推理(Inference)和上传推理结果(Upload result)。下面针对t时刻终端设备m本地处理个视频块，计算和分析各环节的时延成本：
[0032]首先，深度学习模型进行推理计算需要输入为RGB格式的帧数据，故视频块需先完成视频编解码操作。具体地，单个视频块由原数据格式(简称RAW格式)转换为RGB格式的帧数据，这一过程的时延消耗如式(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DRL的边缘视频目标检测任务卸载方法，其特征在于，包括如下步骤：S1，建立多终端设备单MEC服务器的系统模型；S2，建立处理视频任务的时延模型；S3，建立处理视频任务的能耗模型；S4，建立优化目标为最小化MEC系统任务处理时延与能耗加权成本的问题模型；S5，设计基于深度强化学习的视频任务卸载策略；S6，初始化网络权重、经验回放池、MEC系统各队列状态；S7，终端设备根据卸载策略执行卸载决策并与环境交互；S8，抽取经验样本更新网络权重；S9，重复上述步骤S7、S8，直至奖励曲线收敛。2.如权利要求1所述一种基于DRL的边缘视频目标检测任务卸载方法，其特征在于，步骤S1具体如下：设一个由单个MEC服务器和多个相同硬件配置的终端设备构成的MEC系统模型；其中，终端设备集合定义为m∈M定义为设备索引；各设备通过无线连接至MEC服务器，MEC服务器为终端设备提供计算资源；S1.1，建立视频分析任务模型MEC系统时间由时隙集合T＝{1,2,...,T}来表示，时隙索引和时隙长度分别由t∈T和Δ表示；假定在每个时隙起始时刻，各终端设备均产生一个视频分析任务V
m
(t)＝{Z
m
(t),D
m
(t)}；其中，Z
m
(t)表示视频任务的数据大小，D
m
(t)表示该视频任务的时长；S1.2，设计视频任务卸载决策在视频任务执行计算前，将视频按其时间轴均等切分为多个视频片段即视频块；进而将一个完整的视频分析任务的卸载问题被转化为多个子任务卸载问题；具体地，终端设备对任务V
m
(t)切分后产生的视频块数量定义为K
m
(t)，即视频块的数量，则由式(1)表示：其中，d表示单个视频块时长；将该终端设备m在时刻t的卸载决策定义为任务V
m
(t)的卸载率α
m
(t)∈[0,1]；因此，任务V
m
(t)执行卸载的视频块数量如式(2)所示：上式中表示向上取整；任务V
m
(t)在本地计算的视频块数量表示为：3.如权利要求2所述一种基于DRL的边缘视频目标检测任务卸载方法，其特征在于，步骤S2具体如下：S2.1，建立视频任务本地计算的时延模型针对视频目标检测任务的计算流程，对任务V
m
(t)切分预处理后，视频块的本地计算流程为：视频编解码、深度学习模型推理和上传推理结果；针对t时刻终端设备m本地处理个视频块，计算和分析各环节的时延成本：首先，深度学习模型进行推理计算需要输入为RGB格式的帧数据，故视频块需先完成视
频编解码操作；具体地，单个视频块由原数据格式即RAW格式转换为RGB格式的帧数据，这一过程的时延消耗如式(4)所示：上式中C
r2r
表示单个视频块完成r2r编解码所需周期数，r2r代表RAW to RGB；定义为终端设备的计算能力，由周期频率表示；视频块计算过程需要考虑其所在计算队列的状态，即t时刻终端设备m中r2r编解码队列长度那么对于个视频块，其中第i个视频块的排队时延如式(5)所示：上式中，第一项表示r2r编解码队列中剩余任务的处理时延；第二项表示对前i
‑
1个视频块的处理时延；因此，第i个视频块完成r2r编解码产生的时延消耗如(6)所示：其次，完成r2r编解码的视频块以帧数据的形式进行深度学习模型推理环节；对于搭载GPU芯片的终端设备，其模型推理操作由该芯片完成；单个视频块在终端设备完成推理所需时延由式(7)所示：上式中表示本地终端设备的GPU工作频率；C
inf
表示单个视频块完成模型推理所需周期数；结合上述编解码过程的时延计算，模型推理过程同样需要考虑排队时延，将定义为t时刻设备m的模型推理队列长度；本地处理的视频块数量为零时，即本地设备只需处理推理队列剩余任务，时延消耗如式(8)表示：对于的情况，假定作为其视频块索引；则第i个视频块完成推理产生时延如式(9)所示：终端设备m在t时刻本地处理完所有任务的时延成本如式(10)表示：S2.2，视频任务执行计算卸载的时延模型
终端设备对视频任务执行卸载时，其视频块的处理过程涉及：视频编解码、网络传输和深度学习模型推理；对于t时刻到达终端设备m的视频任务V
m
(t)，数量为的视频块将被卸载至MEC服务器完成处理；下面分析卸载过程中各环节产生的时延消耗；采用基于视频压缩技术的H.264格式作为计算卸载时数据传输格式，以H.264格式代表一系列视频压缩格式；终端设备首先将视频数据由原格式转换为H.264压缩格式即RAW to H.264，即r2h；第j个视频块编解码时延需考虑自身完成r2h编解码耗时及其排队耗时，由式(11)给出：上式中代表t时刻r2h编解码队列长度；单个视频块r2h耗时表示单个视频块完成r2h编解码所需计算资源；完成r2h编解码的H.264格式数据通过无线链路上传至MEC服务器，该传输过程产生的时延将主要由视频数据量及传输速率决定；t时刻终端设备与MEC服务器间的上行传输速率r(t)根据香农定理得到，具体如下：其中，W(t)表示t时刻网络信道带宽；h表示终端设备与MEC服务器之间的信道增益；P表示终端设备传输功率；σ2为高斯白噪声功率；由于所提系统场景时隙间隔较小，因此假定时隙t起始时刻到时隙t+1起始时刻前，传输速率r(t)保持不变；采用如下方式对其传输时延进行近似表示，具体如式(13)所示：上式中表示视频块j开始处理前的等待时长，其对应计算方式如式(14)：式(14)中，定义为时刻t下终端设备m的网络传输队列长度；max(
·
)项中第一项为传输队列剩余任务的预期传输耗时，第二项为视频块j进行r2h编解码所需排队时间；式(13)的max(
·
)项用于近似表示视频块j从开始处理至到达MEC服务器耗时，其中第一项表示该视频块r2h编解码耗时，第二项表示其预期传输耗时；基于H.264格式的视频块到达MEC服务器后，MEC服务器需进行编解码将其转换为RGB帧数据即H.264to RGB，简称h2r，用于后续深度学习模型推理；给出视频块j由设备m产生至到达服务器完成h2r编解码的时延消耗：
上式表示视频块在r2h队列的排队时延；L
s,h2r
表示自身h2r编解码耗时；视频块j在MEC服务器完成模型推理所耗时延由式(16)表示：式(16)中max(
·
)项表示视频块j开始推理前的等待时间，其表示视频块j开始推理需满足两个前提：1)该视频块完成了h2r编解码；2)前j
‑
1个视频块均完成模型推理；另外，表示MEC服务器的GPU工作频率；终端设备m在t时刻卸载个视频块，其预期时延消耗为：终端设备m对任务V
m
(t)执行卸载决策α
m
(t)，完成全部任务的预期时延L
m
(t)由本地计算时延及卸载计算时延决定；具体如式(18)所示：4.如权利要求3所述一种基于DRL的边缘视频目标检测任务卸载方法，其特征在于，步骤S3具体如下：S3.1，计算终端设备能耗视频任务在本地终端计算产生的能耗主要由r2r编解码、r2h编解码和模型推理决定，其中r2r编解码能耗和r2h编解码能耗如式(19)和式(20)所示：如式(19)和式(20)所示：上式中κ表示终端设备能耗系数，该数值取决于设备芯片；和分别表示单个视频块在本地完成r2r编解码和r...

【专利技术属性】
技术研发人员：骆淑云，程浩宇，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：