一种无线自组织网络带宽受限下的视频业务质量增强方法技术

本发明专利技术公开了一种用于无线自组织网络环境下进行视频业务质量增强的方法，属于无线自由组网传输及视频图像处理技术研究领域。在带宽受限环境下，通过下采样神经网络对将传输的高分辨率视频进行下采样，得到低分辨率视频，进而对低分辨率视频进行传输以降低带宽需求。在接收端，通过基于视频增强技术，尤其是对一些量化参数较高的低质量帧采用多帧质量增强技术，使用预测神经网络根据当前帧前后图像生成虚拟帧，再通过增强神经网络增强当前帧的质量，得到高分辨率视频图像，提高了主观性能。本发明专利技术在降低视频传输业务带宽需求的同时，尽量保证视频质量，达到了有益效果。

A Method of Video Service Quality Enhancement in Wireless Ad Hoc Networks with Bandwidth Constraints

【技术实现步骤摘要】
一种无线自组织网络带宽受限下的视频业务质量增强方法
本专利技术涉及无线自组织网络传输
，具体地说，涉及一种在无线自组织网络带宽受限下的视频业务质量增强方法。
技术介绍
随着传感器技术、网络技术、人工智能技术的发展，大规模无人系统在工业、军事等领域正得到越来越广泛的应用。如工业传感器网络可用于复杂环境的探测、监视；军事无人机、无人船等可以代替人工进行侦察和任务处理等工作。这些群体协作无人系统能够在野外无预布置网络下顺利精确地相互交互、协同工作，需要无线自组织网络支持；而类似探测、监视、监控、态势感知等功能都需要在无线自组织网络有限的带宽下，实现良好的视频业务质量支撑。由于带宽与存储的限制，视频一般要经过压缩以大幅减少编码比特数。然而，压缩视频不可避免地存在噪声，严重影响了主观质量。此外，这些噪声可能会降低分类和识别任务的准确性。由于人工智能技术和产业逐步成熟，结合深度神经网络的视频传输与压缩方式渐渐成为一个新的发展方向。在视频压方面，已经有不少压缩标准得到了广泛应用。H.264/AVC是国际电信联盟(ITU)和国际标准化组织(ISO/IEC)共同提出的视频编码标准，于2003年发布标准。H.265/HEVC是国际电信联盟(ITU)和国际标准化组织(ISO/IEC)共同提出的新一代的高效视频编码标准，相比于前代H.264/AVC，同样编码质量下H.265/HEVC可以节约50％的码率。不过，现有的视频传输技术与视频压缩技术对视频图像分辨率不进行修改，因此在带宽受限情况下，对实时传输与编码带来困难。为解决上述问题，本专利技术提出在压缩传输高分辨率视频图像前，对视频图像进行下采用，得到相应的低分辨率视频图像，因此大大降低了无线网络的传输负担，提升了传输效率。在接收端得到重建的低分辨率视频图像后，使用神经网络对图像进行增强，再次获得高分辨率图像。这种方式能够大幅度降低传输带宽需求，满足带宽受限情况下的实时传输。
技术实现思路
本专利技术提供了一种无线自组织网络带宽受限下的视频业务质量增强方法，为达到上述目的，本专利技术采用在传输前对高分辨率视频下采样，接收时再对视频质量进行增强的方法，尤其是对一些视频帧采用多帧的方式进行增强，其过程包括：(1)对高分辨率视频图像进行下采样操作，将视频图像缩小2M倍，M是非负整数得到对应的低分辨率视频；所述的下采样操作由下采样神经网络完成，并且对不同采样倍数训练不同的网络模型；对所述的下采样神经网络进行训练时，设有与下采样神经网络结构对称的上采样神经网络，两个网络共享使用同样的参数，设原始高分辨率视频图像为H，H经过下采样神经网络得到低分辨率视频L，L在接收端得到的重建视频图像为L’，L’经过上采样神经网络得到恢复的高分辨率视频H’，通过最小化下列目标函数对网络模型进行训练：其中，θ是网络的权重系数，n为训练样本的数目；(2)对得到的低分辨率视频进行信源编码，并在无线自组织网络环境下，对得到的码流进行传输；(3)在接收端，对接收到的码流进行信源解码，得到重建的低分辨率视频；(4)对于该重建的低分辨率视频，以编码组为单位，选定位于编码参考结构中较低层次的视频帧作为待使用多帧方法进行增强的视频帧；所述的位于编码参考结构中较低层次的视频帧是指在一个编码组中量化参数相对较大的帧；(5)对选定的视频帧，利用其邻近已经解码的重建帧来预测该帧，得到该帧的虚拟帧；所述的邻近已经解码的重建帧是位置对称且成对出现的，它们的基础量化参数值高于当前帧，具体地：设当前待增强帧的前面第i帧图像与当前待增强帧的后面第i帧图像为邻近已经解码的重建帧，根据这对重建帧可得到当前帧的虚拟帧，标记为虚拟帧i；如：当前待增强帧的前面第一帧图像与当前待增强帧的后面第一帧图像，根据这对重建帧可得到当前帧的虚拟帧，标记为虚拟帧1；当前待增强帧的前面第二帧图像与当前待增强帧的后面第二帧图像，根据这对重建帧可得到当前帧的虚拟帧，标记为虚拟帧2；当前待增强帧的前面第三帧图像与当前待增强帧的后面第三帧图像，根据这对重建帧可得到当前帧的虚拟帧，标记为虚拟帧3；以此类推。所述的利用其邻近已经解码的重建帧来预测该帧的预测方法是一种基于神经网络的方法，该预测神经网络输入当前帧前后成对的两帧图像，得到当前帧的虚拟帧；设当前帧为X，其前后成对的两帧图像经过该预测神经网络得到的预测帧为X’，通过最小化以下目标函数训练该预测神经网络：其中，ω是神经网络的权重系数，m是训练样本的数目；(6)当前帧经过解码得到了当前帧的重建帧，利用该帧的虚拟帧与该帧的重建帧，对该帧进行质量增强，得到增强的重建图像；所述的质量增强是指待增强的当前帧的虚拟帧与重建帧经过卷积并将生成的特征图级联后，使用与下采样神经网络结构对称的上采样神经网络，输出增强的当前帧，增强后视频帧的分辨率放大了2P倍，其中P是非负整数。所输入的具体虚拟帧与当前待增强帧在编码组中的参考层次有关，可能是相对应的虚拟帧1、虚拟帧2、……、虚拟帧N(N是正整数)中的任意一帧或任意两帧，以此类推，或全部帧。进一步地，作为优选，编码组尺寸为8的情况下，选择位于编码参考结构倒数第一层的帧与位于倒数第二层的帧进行多帧增强；编码组尺寸为16的情况下，选择位于编码参考结构倒数第一层的帧、倒数第二层的帧与倒数第三层的帧进行多帧增强；进一步地，作为优选，对于位于编码组参考帧结构最后一层的帧，其对应的虚拟帧1将被用到。在传输前利用下采样技术对高分辨率视频进行了下采样，在接收时再进行增强可以有效降低带宽需求。与现有技术相比，本专利技术的有益效果为：本专利技术在传输前利用了神经网络进行下采样，保证了采样有利于编码重建图像的质量恢复，并使得传输带宽需求成倍降低，在同等带宽条件下可以传输更多视频内容。在接收端，一些量化参数高的图像质量受损尤为严重，本专利技术通过多帧质量增强技术提高其图像，具体地，利用神经网络通过预测的方式根据前后多帧图像预测得到当前帧的虚拟帧，进而辅助当前帧的质量增强，提高了增强性能。综上，本专利技术在降低视频传输业务带宽需求的同时，尽量保证视频质量，达到了有益效果。附图说明图1是在无线自组织网络环境下进行视频业务质量增强的方法示意图；图2是实施例中的下采样神经网络结构示意图；图3是实施例中的上采样神经网络结构示意图；图4是实施例提供的应用于图1的视频增强单元的增强方法流程图；图5是实施例中H.265/HEVC视频压缩的常用的分层编码结构；图6为实施例中H.265/HEVC视频压缩的常用的分层编码参考结构；图7是实施例中的预测神经网络结构示意图；图8为实施例中所用的神经网络结构示意图。具体实施方式为了使本专利技术的技术方案和优点变得更加清晰，接下来将结合附图对技术方案的具体实施方式作更加详细地说明：参见图1，本专利技术实施例用于在无线自组织网络环境下进行视频业务质量增强的方法包括视频下采样单元、视频压缩单元、视频传输单元、视频解压缩单元与视频增强单元。其中，视频下采样单元100对高分辨率视频进行下采样，得到对应的低分辨率视频；视频压缩单元200利用现有视频压缩标准，对低分辨率视频进行压缩，并得到对应的视频码流；视频传输单元300对上述视频码流进行传输；视频解压缩单元400对传输过来的码流进行解析，得到重建的低分辨率视频图像；视频增强单元5本文档来自技高网...

【技术保护点】
1.一种无线自组织网络带宽受限下的视频业务质量增强方法，其特征在于，在无线自组织网络环境下进行高分辨率视频业务传输时，包括以下步骤：(1)对高分辨率视频图像进行下采样操作，将视频图像缩小2

【技术特征摘要】
1.一种无线自组织网络带宽受限下的视频业务质量增强方法，其特征在于，在无线自组织网络环境下进行高分辨率视频业务传输时，包括以下步骤：(1)对高分辨率视频图像进行下采样操作，将视频图像缩小2M倍，M是非负整数得到对应的低分辨率视频；所述的下采样操作由下采样神经网络完成，并且对不同采样倍数训练不同的网络模型；对所述的下采样神经网络进行训练时，设有与下采样神经网络结构对称的上采样神经网络，两个网络共享使用同样的参数，设原始高分辨率视频图像为H，H经过下采样神经网络得到低分辨率视频L，L在接收端得到的重建视频图像为L’，L’经过上采样神经网络得到恢复的高分辨率视频H’，通过最小化下列目标函数对网络模型进行训练：其中，θ是网络的权重系数，n为训练样本的数目；(2)对得到的低分辨率视频进行信源编码，并在无线自组织网络环境下，对得到的码流进行传输；(3)在接收端，对接收到的码流进行信源解码，得到重建的低分辨率视频；(4)对于该重建的低分辨率视频，以编码组为单位，选定位于编码参考结构中较低层次的视频帧作为待使用多帧方法进行增强的视频帧；所述的位于编码参考结构中较低层次的视频帧是指在一个编码组中量化参数相对较大的帧；(5)对选定的视频帧，利用其邻近已经解码的重建帧来预测该帧，得到该帧的虚拟帧；所述的邻近已经解码的重建帧是位置对称且成对出现的，它们的基础量化参数值高于当前帧，具体地：设当前待增强帧的前面第i帧图像与当前待增强帧的后面第...

【专利技术属性】
技术研发人员：丁丹丹，雷鸣，王婵，徐莹莹，鞠阳，盛华联，刘派，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33