面向压缩感知视频流的帧组采样率分配系统技术方案

本发明专利技术涉及一种面向压缩感知视频流的帧组采样率分配系统，包括通过传输信道连接的测量端和重建端，测量端包括依次连接的帧组划分器、分配器、观测器和编码器，测量端还包括分别与所述帧组划分器、分配器和编码器相连的模型判决器；重建端包括依次连接的帧组解析器、帧组重构器和无参考评估器，无参考评估器还与所述模型判决器相连；在训练模式下，测量端统计不同观测参数对帧组的重建质量与码率的影响，然后分别建立码率模型与重建质量模型；在工作模式下，测量端根据建立的码率模型与重建质量模型以及前一帧组的观测结果，确定后一帧组的最优观测参数。本发明专利技术能够自适应地优化观测参数，在码率约束下最大化连续GOF的平均重建质量。

【技术实现步骤摘要】
面向压缩感知视频流的帧组采样率分配系统
本专利技术涉及视频处理与多媒体
，特别是涉及一种面向压缩感知视频流的帧组采样率分配系统。
技术介绍
在移动可视传感应用中，从测量端到重建端的传输信道呈现出更低的带宽、更大的不稳定性，测量端资源往往受到严格的限制，测量端的可移动性会导致传感视频信号存在较大的场景变化，传感视频信号在重建端进行信号恢复后，越来越多地用于以机器为中心的模式识别任务。近年来兴起的压缩感知技术契合了传感视频信号潜在的稀疏属性，突破了奈奎斯特采样定理的限制，压缩感知对于提高传感视频信号的获取范围、减少测量端资源消耗都有重要意义。“压缩感知视频流”是基于压缩感知理论的视频流技术体系，能够避免既有技术先获取额外信息再将其丢弃的不足，有望按需理解远端自然场景中的传感视频信号，本质上也有助于低质成像信号的获取与处理。为了防止误差累积传播，压缩感知视频流通常将传感视频信号划分为连续的帧组(GOF)，再将每个GOF划分为一个关键帧和若干个非关键帧，关键帧采样率通常高于非关键帧采样率，“观测参数”是指同一GOF的关键帧采样率和非关键帧采样率。压缩感知视频流分为测量端与重建端两大部分，通常采用“单帧观测、帧组重构”的技术框架，测量端输入传感视频信号，重建端输出重建帧组。分块压缩感知(BCS)是代表性的测量端单帧观测技术，判别加权残差稀疏性(RSS)是代表性的重建端帧组重构算法。大部分的压缩感知文献只考虑到实数形式的观测值，而压缩感知视频流须将观测值转换为比特码流进行自适应传输，因此，测量端还有预测编码、量化等功能模块。近年来，传感视频信号的无参考质量评价日趋活跃，科研人员专门构建了用于无参考质量评价的视频数据库。通过帧差相关统计建模分析失真视频特征变化，A.Mittal,M.A.Saad,A.C.Bovik,“ACompletelyBlindVideoIntegrityOracle,”IEEETransactionsonImageProcessing,25(1):289-300,2016提出了基于空-时差异统计特性的VIIDEO视频无参考评估准则，无需利用图像质量评估数据库中的图像样本进行训练，从而使得训练图像的获取范围更大。“重建质量”是指某一重建帧组的质量，重建端可采用VIIDEO对各个重建帧组进行无参考质量评价。压缩感知视频流的优化目标是在码率约束下获得较高的平均重建质量。测量端在生成前一GOF的码流之后，需要预先设定后一GOF的观测参数，以便联合控制后一GOF的码率与重建质量。在压缩感知视频流中，测量端需要获取连续的GOF，由于邻近的GOF具有相关的统计特性，测量端通过分析若干GOF的质量-码率特性，可以建立观测参数的统计模型，用于预先设定后续GOF的观测参数。对于任一给定的码率阈值，测量端如何为后一GOF预先设定优化的关键帧采样率和非关键帧采样率，实现码率-重建质量联合优化的观测参数控制，目前仍然缺少对应的方法。
技术实现思路
本专利技术所要解决的技术问题是提供一种面向压缩感知视频流的帧组采样率分配系统，对于连续的GOF，能够自适应地设定优化的观测参数，在码率约束下最大化连续GOF的平均重建质量。本专利技术解决其技术问题所采用的技术方案是：提供一种面向压缩感知视频流的帧组采样率分配系统，包括通过传输信道连接的测量端和重建端，所述测量端包括依次连接的帧组划分器、分配器、观测器和编码器，所述测量端还包括分别与所述帧组划分器、分配器和编码器相连的模型判决器；所述重建端包括依次连接的帧组解析器、帧组重构器和无参考评估器，所述无参考评估器还与所述模型判决器相连；在训练模式下，测量端统计不同观测参数对帧组的重建质量与码率的影响，然后分别建立码率模型与重建质量模型；在工作模式下，测量端根据建立的码率模型与重建质量模型以及前一帧组的观测结果，确定后一帧组的最优观测参数。在训练模式下，测量端采用缺省的观测参数，连续执行前M个帧组的单帧观测，通过所述编码器获取前M个帧组对应的帧组码率；在重建端，所述帧组重构器生成重建帧组，然后由所述无参考评估器计算该重建帧组的重建质量，并将结果传回所述模型判决器；所述模型判决器通过前M个帧组的帧组码率与重构帧组生成的M个样本，采用关键帧码率模型的函数形式、非关键帧码率模型的函数形式和重建质量模型的函数形式对从第2个到第M个样本执行基于最小二乘回归的模型拟合，并选择均方误差最小的模型系数，建立码率模型与重建质量模型。所述关键帧码率模型的函数形式为：R(Skm)＝Cm-1,1·αk·(Skm)β，所述非关键帧码率模型的函数形式为：R(Scm)＝Cm-1,N·αc·(Scm)γ，其中，每个帧组含有N帧，Cm-1,1是前一帧组的关键帧观测向量的方差，Cm-1,N是前一帧组的最后一个非关键帧观测向量的方差，Skm表示第m个帧组的关键帧采样率，Scm表示第m个帧组的非关键帧采样率，αk、αc、β、γ是模型系数。所述重建质量模型的函数形式为：Q(Skm,Scm)＝τ1/Scm+(τ2·Scm+τ3)/(Skm)2，其中，Skm表示第m个帧组的关键帧采样率，Scm表示第m个帧组的非关键帧采样率，τ1、τ2、τ3是模型系数。在工作模式下，所述模型判决器获取同类前一帧观测向量的方差，然后根据建立的码率模型与重建质量模型，执行码率-重建质量联合优化：对于给定的码率阈值Rt，所述模型判决器利用建立的码率模型与重建质量模型在所有候选的观测参数中为后一帧组选取一组最优观测参数，即在满足码率R(Skm,Scm)≤Rt的条件下遍历搜索各个重建质量Q(Skm,Scm)，且R(Skm,Scm)＝R(Skm)+(N-1)·R(Scm)，为后一帧组找到重建质量最高的一组观测参数，将其作为后一帧组的最优观测参数，提供给所述分配器执行，同时更新模型系数，其中，R(Skm,Scm)表示第m个帧组相应的帧组码率，Q(Skm,Scm)表示第m个帧组相应的重建质量。所述更新模型系数时，模型系数αk执行如下更新：αk←λ·αk+(1-λ)·Ram,1/(Cm-1,1·(Skm)β)，模型系数αc执行如下更新程序：αc←λ·αc+(1-λ)·Ram,N/(Cm-1,N·(Scm)γ)，Ram,1为第m个帧组的关键帧的实际码率Ram,1、Ram,N为第m个帧组的所有非关键帧平均的单帧实际码率，λ为遗忘因子。有益效果由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术的帧组采样率分配系统通过训练模式建立起码率模型与重建质量模型，系统的工作模式根据这两个模型和前一GOF的观测结果，在码率约束下为后一GOF预先设定合适的关键帧采样率和非关键帧采样率，可在后一GOF的码率和重建质量之间取得有效的性能折衷。本专利技术的帧组采样率分配系统能够在给定的码率阈值下为连续GOF自适应地分配最优观测参数，联合地优化连续GOF的平均码率与平均重建质量，并随着码率阈值的增加渐进地提升平均重建质量，从而为压缩感知视频流取得优化的码率-重建质量综合性能。附图说明图1是本专利技术的本文档来自技高网...

【技术保护点】
1.一种面向压缩感知视频流的帧组采样率分配系统，包括通过传输信道连接的测量端和重建端，其特征在于，所述测量端包括依次连接的帧组划分器、分配器、观测器和编码器，所述测量端还包括分别与所述帧组划分器、分配器和编码器相连的模型判决器；所述重建端包括依次连接的帧组解析器、帧组重构器和无参考评估器，所述无参考评估器还与所述模型判决器相连；在训练模式下，测量端统计不同观测参数对帧组的重建质量与码率的影响，然后分别建立码率模型与重建质量模型；在工作模式下，测量端根据建立的码率模型与重建质量模型以及前一帧组的观测结果，确定后一帧组的最优观测参数。/n

【技术特征摘要】
1.一种面向压缩感知视频流的帧组采样率分配系统，包括通过传输信道连接的测量端和重建端，其特征在于，所述测量端包括依次连接的帧组划分器、分配器、观测器和编码器，所述测量端还包括分别与所述帧组划分器、分配器和编码器相连的模型判决器；所述重建端包括依次连接的帧组解析器、帧组重构器和无参考评估器，所述无参考评估器还与所述模型判决器相连；在训练模式下，测量端统计不同观测参数对帧组的重建质量与码率的影响，然后分别建立码率模型与重建质量模型；在工作模式下，测量端根据建立的码率模型与重建质量模型以及前一帧组的观测结果，确定后一帧组的最优观测参数。


2.根据权利要求1所述的面向压缩感知视频流的帧组采样率分配系统，其特征在于，在训练模式下，测量端采用缺省的观测参数，连续执行前M个帧组的单帧观测，通过所述编码器获取前M个帧组对应的帧组码率，在重建端，所述帧组重构器生成重建帧组，然后由所述无参考评估器计算该重建帧组的重建质量，并将结果传回所述模型判决器；所述模型判决器通过前M个帧组的帧组码率与重构帧组生成的M个样本，采用关键帧码率模型的函数形式、非关键帧码率模型的函数形式和重建质量模型的函数形式对从第2个到第M个样本执行基于最小二乘回归的模型拟合，并选择均方误差最小的模型系数，建立码率模型与重建质量模型。


3.根据权利要求1所述的面向压缩感知视频流的帧组采样率分配系统，其特征在于，所述关键帧码率模型的函数形式为：R(Skm)＝Cm-1,1·αk·(Skm)β，所述非关键帧码率模型的函数形式为：R(Scm)＝Cm-1,N·αc·(Scm)γ，其中，每个帧组含有N帧，Cm-1,1是前一帧组的关键帧观测向量的方差，Cm-1,N是前一帧组的最后一个非关键帧观测向量的方差，Skm表示第m个帧组的关键帧采样率，...

【专利技术属性】
技术研发人员：刘浩，应晓清，袁文野，杨正成，黄震，魏国林，廖荣生，黄荣，袁浩东，翟广涛，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海;31