基于时空语义过滤的端边协同实时视频分析方法技术

本发明专利技术公开了一种基于时空语义过滤的端边协同实时视频分析方法。该方法基于智能视觉设备和边缘服务器构成的智能视觉端边协同系统，然后通过智能视觉设备来捕捉视频信息，通过搭载配置跟踪检测模块和感兴趣区域提取模块。所述的跟踪检测模块自适应地确定卸载决定，用跟踪算法在本地处理每个视频帧，或将其卸载到由物体检测模型推断出的边缘服务器。感兴趣区域决定每个卸载帧的分辨率和检测模型配置，以确保分析结果能够及时返回。跟踪检测模块和感兴趣区域相互协作，过滤重复的时空语义信息，以最大限度地提高处理率，同时确保高视频分析精度。视频分析精度。视频分析精度。

【技术实现步骤摘要】
基于时空语义过滤的端边协同实时视频分析方法


[0001]本专利技术属于网络资源管理技术，具体涉及边缘计算网络中的计算任务的卸载，尤其涉及一种基于时空语义过滤的端边协同实时视频分析方法。

技术介绍

[0002]随着物联网(IoT)的快速发展，智能视觉设备(如智能手机、自动驾驶汽车、无人机)的涌现推动了自动驾驶、虚拟现实等创新移动应用的发展。这些智能视觉设备通过摄像头等传感器感知周围的环境，并产生海量的视频数据需要实时处理。例如，自动驾驶应用利用智能相机准确检测车道、汽车和行人，以避免碰撞发生。然而，由于智能视觉设备的计算能力有限，在本地处理计算强度大和延迟敏感的视频分析任务是非常具有挑战性的。尽管将任务卸载到强大的云服务器上，可以缓解计算资源不足的情况，但由于云服务器通常部署在距离设备很远的地方，因此会带来无法接受的延迟。
[0003]边缘计算，即在网络边缘部署强大的边缘服务器，为设备提供普遍的、可靠的和快速响应的计算服务，从而将视频分析任务卸载到边缘服务器是一种具有巨大潜力的方法。因此，基于以下原因，设计一个更加灵活和高效的端边协同实时视频分析方法是非常必要的，具体的表现包括如下几个方面。
[0004]1)由于蜂窝网络的带宽有限和不稳定性，很难将所有具有巨大数据量的视频帧实时卸载到边缘服务器。802.11ac设计链接带宽可以达到800Mbps,然而LTE蜂窝移动网络的上行带宽只有50Mbps，目前的全球移动网络数据表明，移动网络用户实际带宽体验低于10Mbps。
[0005]2)视频帧之间大量重复的时空语义信息，导致了很高的传输时延，严重影响实时分析性能。由于视频相邻帧之间存在大量的重复画面，因此相邻视频帧的语义信息有大量重复。若每个视频帧都将全部信息上传，则重复传输了大量的相同信息，造成巨大的带宽浪费，但并未提高视频分析精度。
[0006]3)不同于Wi
‑
Fi网络，大量的视频流量需要用户支付高昂的流量费用。同时，边缘服务器计算资源也没有那么容易获得，需要向服务提供商花费大量金钱购买，因此降低卸载频次和数据发送量降低花费对依赖蜂窝移动网络的大流量的应用是至关重要的。
[0007]然而，由于以下几个方面的原因，在设计和利用一种新型高效的边缘计算实时视频分析方法时，考虑到所有上述事实是非常具有挑战性的：
[0008]a.实时视频会在单位时间内产生大量的流量，导致视觉设备无法及时将所有的图像传输到边缘服务器。
[0009]b.不断增长的智能视觉设备，频繁的视频分析任务请求会快速消耗边缘服务器的资源。
[0010]c.各种智能视觉设备之间的计算能力有相当大的差异，导致同一算法的性能会有很大的变化，加剧了智能化算法的设计难度。

技术实现思路

[0011]专利技术目的：针对上述现有蜂窝移动网络下，自动驾驶、虚拟现实等计算密集、时间敏感型视频分析应用，本专利技术提供一种基于时空语义过滤的端边协同实时视频分析方法。
[0012]技术方案：一种基于时空语义过滤的端边协同实时视频分析方法，该方法包括构建智能视觉端边协同系统，该系统包括智能视觉设备和边缘服务器，通过智能视觉设备部署跟踪检测模块和感兴趣区域提取模块；
[0013]所述方法以卸载决策、感兴趣区域提取、本地处理模式、检测模型配置、处理分辨率选择为优化变量，基于时空语义过滤冗余信息，以最大化边缘计算系统的帧处理率和检测准确率为目标；
[0014]所述方法包括如下步骤：
[0015](1)建立视频分析任务处理模型，在每个时隙开始的时刻，通过智能视觉设备捕捉视频流，抽样后得到视频帧，然后对视频帧是否卸载到边缘服务器上或者智能视觉设备上处理进行决策分配；
[0016](2)设计可优化的动态数据量计算模型，其中对于提取感兴趣区域块后卸载帧数据量的计算为：
[0017][0018]式中，τ是单位像素的数据量大小，b(r
t，i
)是第i块在分辨率r下的像素数，s
t
是块的数量；
[0019](4)确定该边缘计算系统完整的决策变量，包括帧卸载决策αt、感兴趣区域提取处理β
t
、移动端处理模式检测模型配置处理分辨率
[0020](4)计算整个系统的平均时延，包括视频分析任务在移动端设备的计算时延预检测时延传输时延边缘服务器上的计算时延该边缘计算系统的总时延表示如下：
[0021][0022]式中，α
t
为移动设备是否卸载视频帧决策，β
t
为移动设备是否采用感兴趣区域提取决策；
[0023](5)评估每个视频帧的检测准确度，其中包括移动端帧检测准确度acc(k)和卸载到边缘服务器的帧处理准确度acc(m,r)两部分，表达式如下：
[0024][0025]式中，表示追踪模式k是否采用，表示检测模型m是否使用,表示分辨率r是否使用；
[0026](6)基于语义协同过滤，构建无线端边协同网络的系统帧处理率和准确率加权最大化函数，所述方法优化问题的函数表达如下：
[0027][0028]约束条件为：
[0029]α
t
,β
t
∈{0,1},
[0030][0031][0032][0033][0034][0035][0036][0037]式中，η为平衡帧处理率和检测准确度的权重参数，q
t
为帧检测结果是否在时间约束内及时返回；如果帧没有被及时处理同时将该帧丢弃；如果q
t
＝0表示检测准确度低于检测度阈值，q
t
＝1表示当前帧被成功处理；
[0038](8)基于强化学习进行训练求解，将步骤(6)中的卸载决策问题转化为马尔可夫处理过程；
[0039]卸载决策任务状态为：
[0040]s
t
＝{h
t
,b
t
,c
t
,p
t
}，
[0041]式中，h
t
为哈希相似度，b
t
为边缘服务器与移动设备之间的带宽,c
t
为追踪复杂度，p
t
为持续使用追踪模式处理的时间；
[0042]卸载决策动作空间为：
[0043]A
t
＝{Skip,KCF,CSRT,Offload
‑
Full,Offload
‑
ROI}.
[0044]卸载决策环境奖励为：
[0045][0046]卸载决策损失函数为：
[0047]L(θ
t
)＝E[(y
t
‑
Q(s
t
,α
t
；θ
t
))2][0048](8)将步骤(6)中配置选择问题转化为上下文多臂赌博机问题；配置决策表示为：
[0049][0050]采用的奖励本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空语义过滤的端边协同实时视频分析方法，其特征在于：该方法基于智能视觉端边协同系统，所述的智能视觉端边协同系统包括智能视觉设备和边缘服务器，且通过智能视觉设备部署跟踪检测模块和感兴趣区域提取模块；所述方法以卸载决策、感兴趣区域提取、本地处理模式、检测模型配置、处理分辨率选择为优化变量，基于时空语义过滤冗余信息，以最大化边缘计算系统的帧处理率和检测准确率为目标；所述方法包括如下步骤：(1)建立视频分析任务处理模型，在每个时隙开始的时刻，通过智能视觉设备捕捉视频流，然后抽样后得到视频帧，并对视频帧是否卸载到边缘服务器上或者智能视觉设备上处理进行决策分配；(2)设计可优化的动态数据量计算模型，通过该动态数据计算模型可得到对于提取感兴趣区域块后卸载帧数据量的计算为：式中，τ是单位像素的数据量大小，b(r
t,i
)是第i块在分辨率r下的像素数，s
t
是块的数量；(3)确定该边缘计算系统的决策变量，所述的决策变量包括帧卸载决策α
t
、感兴趣区域提取处理β
t
、移动端处理模式检测模型配置处理分辨率(4)计算整个系统的平均时延，包括视频分析任务在移动端设备的计算时延预检测时延传输时延边缘服务器上的计算时延该边缘计算系统的总时延表示如下：式中，α
t
为智能视觉设备是否卸载视频帧决策，β
t
为智能视觉设备是否采用感兴趣区域提取决策；(5)评估每个视频帧的检测准确度，包括移动端帧检测准确度acc(k)和卸载到边缘服务器的帧处理准确度acc(m,r)两部分，检测准确度acc
t
的计算表达式如下：式中，表示追踪模式k是否采用，表示检测模型m是否使用,表示分辨率r是否使用；(6)基于语义协同过滤，构建无线端边协同网络的系统帧处理率和准确率加权最大化函数，得到优化问题的函数表达如下：约束条件为：α
t
,β
t
∈{0,1},
式中，η为平衡帧处理率和检测准确度的权重参数，q
t
为帧检测结果是否在时间约束内及时返回；如果帧没有被及时处理同时将该帧丢弃；如果q
t
＝0表示检测准确度低于检测度阈值，q
t
＝1表示当前帧被成功处理；(7)基于强化学习进行训练求解，将步骤(6)中的卸载决策问题转化为马尔可夫处理过程；卸载决策任务状态为：s
t
＝{h
t
,b
t
,c
t
,p
t
}，式中，h
t
为哈希相似度，b
t
为边缘服务器与移动设备之间的带宽,c
t
为追踪复杂度，p
t
为持续使用追踪模式处理的时间；卸载决策动作空间为：A
t
＝{Skip,KCF,CSRT,Offload
‑
Full,Offload
‑
ROI}.卸载决策环境奖励为：卸载决策损失函数为：L(θ
t
)＝E[(y
t
‑
Q(s
t
,a
t
；θ
t
))2](8)将步骤(6)中配置选择问题转化为上下文多臂赌博机问题；配置决策表示为：采用的奖励估计为：采用ε贪心策略决定最优动作为：采用以上方法求解视频帧分辨率和模型配置；(9)根据基于DDQN的卸载决策和基于CMAB自适应配置的方式获取帧卸载决策α
t
、感兴趣区域提取处理β
t
、移动端处理模式检测模型配置处理分辨率使系统帧处理率和检测准确率加权和最大。2.根据权利要求1所述的基于时空语义过滤的端边协同实时视频分析方法...

【专利技术属性】
技术研发人员：易畅言，陈翔，朱文杰，陈嘉源，张彤，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：