一种面向语义分割的云边协同视频压缩上载方法及装置制造方法及图纸

本发明专利技术公开了一种面向语义分割的云边协同视频压缩上载方法及装置，属于无线通信与计算机视觉交叉领域。一方面，云服务器在离线阶段针对语义分割DNN定制不同级别的以像素块为单位的量化表；在在线阶段根据边缘端设备上载的视频帧生成空间自适应的压缩策略，并将该压缩策略与语义分割结果一同反馈到边缘端设备；另一方面，边缘端设备将每次反馈得到的压缩策略与语义分割结果缓存在本地，并基于时间相关性提取视频光流信息，将压缩策略与语义分割结果从上载帧传播到当前帧，并进一步选取关键帧上载到云端以适应视频变化。如此，能够在保障上载视频语义分割精度的同时最小化上载的视频体积，从而促进语义分割技术在海量边缘端设备的大规模应用。备的大规模应用。备的大规模应用。

【技术实现步骤摘要】
一种面向语义分割的云边协同视频压缩上载方法及装置


[0001]本专利技术属于无线通信与计算机视觉交叉领域，更具体地，涉及一种面向语义分割的云边协同视频压缩上载方法及装置。

技术介绍

[0002]近年来，语义分割在移动设备与物联网设备中得到了广泛的应用，包括智能手机、平板电脑、无人机、自动驾驶汽车与增强现实头盔等。在视频语义分割的推动下，自动驾驶汽车通过实时获取对周围环境的像素级理解以实现自动导航；谷歌公司陆续推出了肖像模式和YouTube故事模式以丰富背景设置，优化用户体验；基于人体与背景的细粒度分割，虚拟试衣和化妆应用成为现实。语义分割技术的广泛应用归功于深度学习技术(如深度神经网络(DNNs))的突破，然而，困扰研究人员已久的是DNN日益增长的计算复杂度与移动设备或物联网设备有限的计算资源之间的矛盾。在移动边缘计算(MEC)的推动下，将DNN计算任务与视频上载到云服务器(包括边缘云或中心云)上成为缓解这一矛盾的有力方法。
[0003]然而，随着具有视觉应用的移动设备或物联网设备的爆炸性增长，有限的无线带宽资源成为实现视频上载与分析规模化应用的最紧迫挑战。雪上加霜的是，语义分割并没有明显并且高度集中的感兴趣区域(RoIs)，这迫使现有面向语义分割应用的图像/视频压缩方法对整个图像/帧平面采用统一且固定的压缩策略。在这种情况下，边缘端设备必须降低整个图像/帧平面的压缩率，以确保DNN探测的准确性，这导致了大量额外无线带宽的消耗，严重阻碍了语义分割技术在海量移动设备或物联网设备上的大规模应用。因此，迫切需要设计一种专门应用于语义分割的视频压缩与上载方法来应对这个难题。

技术实现思路

[0004]针对现有技术的缺陷和改进需求，本专利技术提供了一种面向语义分割的云边协同视频压缩上载方法、装置、电子设备及计算机可读存储介质，旨在保障上载视频语义分割精度的同时最小化上载的视频体积，以适应计算资源和带宽资源受限的移动设备与物联网设备。
[0005]为实现上述目的，第一方面，本专利技术提供了一种面向语义分割的云边协同视频压缩上载方法，所述方法应用于边缘端设备，所述方法包括：
[0006]将第一帧视频作为关键帧进行压缩并上载到云服务器，使云服务器将接收的上载视频帧输入语义分割DNN，得到语义分割结果并生成对应于所述上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，所述量化表以像素块为单位，每个区域包括多个像素块；
[0007]接收所述语义分割结果以及压缩策略，并进行本地缓存；提取视频帧间的光流信息，将缓存的语义分割结果从所述上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；
[0008]利用光流信息将所述上载视频帧的各像素传播到当前视频帧，计算传播后的视频
帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
[0009]第二方面，提供了一种面向语义分割的云边协同视频压缩上载方法，所述方法应用于云端中的任一服务器，所述方法包括：
[0010]生成不同等级的量化表，所述量化表以像素块为单位；
[0011]接收边缘端设备上载的视频帧并输入语义分割DNN，得到语义分割结果并生成对应于上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，每个区域包括多个像素块；
[0012]将所述语义分割结果以及压缩策略反馈至边缘端设备，使边缘端设备在本地缓存所述语义分割结果以及压缩策略，并提取视频帧间的光流信息，将缓存的语义分割结果从上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；以及利用光流信息将所述上载视频帧的各像素传播到当前视频帧，并计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
[0013]进一步地，所述生成不同等级的量化表，包括：
[0014]通过遍历的方式获得满足语义分割精度要求的最大DNN损失函数增长上限B0；
[0015]以所述B0为中心，获得不同级别的最大DNN损失函数增长上限l为量化等级，L为量化等级总数；
[0016]为每个B
l
值生成对应的量化表T
l
，其中量化间隔M表示随机图像的像素个数，N为一个像素块的像素个数，n∈{1,2,
…
,N}表示任一个离散余弦变换DCT系数的频率分量，g
n
表示语义分割DNN对随机图像DCT系数各频率分量的梯度。
[0017]进一步地，所述生成对应于上载视频帧的压缩策略，包括：
[0018]计算语义分割DNN相对于上载视频帧所有像素点的离散余弦变换DCT系数的梯度s
i
表示DCT系数；
[0019]将上载视频帧的像素平面划分为不同区域计算在每个量化表选择下，每个区域R
r
的最大DNN损失函数增长值的最大DNN损失函数增长值s
i
→
n表示上载视频帧的DCT系数相对应的频率，表示量化表中该频率分量的量化间隔；
[0020]为每个区域R
r
选择值中最接近值所对应的量化表作为最佳量化表，N(R
r
)为区域R
r
内所包含的像素个数。
[0021]第三方面，提供了一种面向语义分割的云边协同视频压缩上载装置，所述装置应用于边缘端设备，所述装置包括：
[0022]第一处理模块，用于将第一帧视频作为关键帧进行压缩并上载到云服务器，使云
服务器将接收的上载视频帧输入语义分割DNN，得到语义分割结果并生成对应于所述上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，所述量化表以像素块为单位，每个区域包括多个像素块；
[0023]第二处理模块，用于接收所述语义分割结果以及压缩策略，并进行本地缓存；提取视频帧间的光流信息，将缓存的语义分割结果从所述上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；
[0024]第三处理模块，用于利用光流信息将所述上载视频帧的各像素传播到当前视频帧，计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
[0025]第四方面，提供了一种面向语义分割的云边协同视频压缩上载装置，所述装置应用于云端中的任一服务器，所述装置包括：
[0026]生成模块，用于生成不同等级的量化表，所述量化表以像素块为单位；
[0027]接收模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向语义分割的云边协同视频压缩上载方法，其特征在于，所述方法应用于边缘端设备，所述方法包括：将第一帧视频作为关键帧进行压缩并上载到云服务器，使云服务器将接收的上载视频帧输入语义分割DNN，得到语义分割结果并生成对应于所述上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，所述量化表以像素块为单位，每个区域包括多个像素块；接收所述语义分割结果以及压缩策略，并进行本地缓存；提取视频帧间的光流信息，将缓存的语义分割结果从所述上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；利用光流信息将所述上载视频帧的各像素传播到当前视频帧，计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。2.一种面向语义分割的云边协同视频压缩上载方法，其特征在于，所述方法应用于云端中的任一服务器，所述方法包括：生成不同等级的量化表，所述量化表以像素块为单位；接收边缘端设备上载的视频帧并输入语义分割DNN，得到语义分割结果并生成对应于上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，每个区域包括多个像素块；将所述语义分割结果以及压缩策略反馈至边缘端设备，使边缘端设备在本地缓存所述语义分割结果以及压缩策略，并提取视频帧间的光流信息，将缓存的语义分割结果从上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；以及利用光流信息将所述上载视频帧的各像素传播到当前视频帧，并计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。3.如权利要求2所述的面向语义分割的云边协同视频压缩上载方法，其特征在于，所述生成不同等级的量化表，包括：通过遍历的方式获得满足语义分割精度要求的最大DNN损失函数增长上限B0；以所述B0为中心，获得不同级别的最大DNN损失函数增长上限l为量化等级，L为量化等级总数；为每个B
l
值生成对应的量化表T
l
，其中量化间隔M表示随机图像的像素个数，N为一个像素块的像素个数，n∈{1,2,
…
,N}表示任一个离散余弦变换DCT系数的频率分量，g
n
表示语义分割DNN对随机图像DCT系数各频率分量的梯度。4.如权利要求3所述的面向语义分割的云边协同视频压缩上载方法，其特征在于，所述生成对应于上载视频帧的压缩策略，包括：计算语义分割DNN相对于上载视频帧所有像素点的离散余弦变换DCT系数的梯度
s
i
表示DCT系数；将上载视频帧的像素平面划分为不同区域计算在每个量化表选择下，每个区域R
r
的最...

【专利技术属性】
技术研发人员：王巍，肖雪豆，张珏城，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：