【技术实现步骤摘要】
基于语义失真度量的视频编码的比特分配系统及方法
本公开涉及视频编码的比特分配领域，尤其涉及一种基于语义失真度量的视频编码的比特分配系统及方法。
技术介绍
在当前视频技术的应用场景下，视频编码和视频分析被当做两个独立的过程，由不同的模块完成。其中比特分配的目的是为视频的不同空域区域和不同的时域帧分配合适的比特，以达到在总编码比特限制的条件下，最优化编码后视频的失真度量。一般视频编码后的失真可分为三个等级，即像素级失真，感知级失真和语义级失真。随着计算机视觉技术的不断发展，未来的视频在更多应用场景下是由机器进行语义级的智能分析，如目标跟踪、行人重识别等，这就需要在视频压缩过程中要保证语义信息不丢失。然而由于在已有技术中视频编码独立于视频分析进行，编码过程少有考虑后续视频分析的应用。因此在编码的优化过程中，考虑的只有像素级失真和感知级失真，这样导致的后果就是经编码后的视频会损失语义信息，也就使得机器进行语义分析时准确度下降。
技术实现思路
(一)要解决的技术问题本公开提供了一种基于语义失真度量的视频编码的比特分配系统及方法，以至少部分解决以上所提出的技术问题。(二)技术方案...
【技术保护点】
1.一种基于语义失真度量的视频编码的比特分配系统，包括：重要性图提取模块，在语义理解任务驱动下，从原始视频中提取空域和/或时域的关键特征，得到表征视频不同空域和/或时域内容对于语义理解任务重要性程度的权重因子的图，作为重要性图；比特分配模块，接收所述重要性图提取模块提供的视频不同空域和/或时域内容的权重因子，为视频不同区域和不同帧分配比特，并确定编码参数；编码器模块，接收所述比特分配模块确定的编码参数，进行编码，同时将编码后的结果反馈给比特分配模块。
【技术特征摘要】
1.一种基于语义失真度量的视频编码的比特分配系统，包括：重要性图提取模块，在语义理解任务驱动下，从原始视频中提取空域和/或时域的关键特征，得到表征视频不同空域和/或时域内容对于语义理解任务重要性程度的权重因子的图，作为重要性图；比特分配模块，接收所述重要性图提取模块提供的视频不同空域和/或时域内容的权重因子，为视频不同区域和不同帧分配比特，并确定编码参数；编码器模块，接收所述比特分配模块确定的编码参数，进行编码，同时将编码后的结果反馈给比特分配模块。2.一种基于局域语义失真度量的视频编码的比特分配方法，包括：步骤S100：在语义理解任务驱动下，从原始视频中提取空域和/或时域的关键特征，得到表征视频不同空域和/或时域内容对于语义理解任务重要性程度的权重因子的图，作为重要性图；步骤S200：接收所述步骤S100提供的视频在特定语义理解任务下的重要性图，为视频不同区域和不同帧分配比特，并确定编码参数；步骤S300：接收所述步骤S200确定的编码参数，进行编码，同时将编码后的结果反馈给比特分配模块。3.根据权利要求2所述的基于局域语义失真度量的视频编码的比特分配方法，其中，所述步骤S100包括：子步骤S110：基于已经训练好的用于语义分析任务的神经网络，对原始视频中的输入图像进行一次前向传播计算；子步骤S120：从语义分析任务的神经网络的输出端选取某个神经元，从该神经元的输出量执行一次反向传播计算，得到最后一层卷积层特征图的梯度；子步骤S130：从子步骤S120得到卷积层特征图的梯度，经过全局平均池化和加权求和，得到梯度热度图；子步骤S140：从子步骤S120中选取神经元的输出量执行一次导向反向传播计算，得到输入图像的梯度，即导向传播图；子步骤S150：将子步骤S130得到的梯度热度图进行上采样操作，使其变成与输入图像相同大小，然后将上采样后的梯度热度图与子步骤S140中得到的导向传播图相加，得到最终的表征了原始视频不同空域和/或时域内容权重因子的重要性图。4.根据权利要求3所述的基于局域语义失真度量的视频编码的比特分配方法，其中，所述子步骤S110还包括：在语义理解任务驱动下，从原始视频中提取空域和/或时域的关键特征，得到原始视频不同空域和/或时域内容的权重因子。5.根据权利要求3所述的基于局域语义失真度量的视频编码的比特...
【专利技术属性】
技术研发人员：陈志波，李业，石隽，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。