本公开涉及一种压缩图像修复方法及装置、电子设备和存储介质，通过预设的非盲修复算法对压缩图像进行修复得到预修复图像，再将压缩图像输入训练得到的损失检测模型中得到对应的损失分布图像。根据压缩图像、预修复图像和损失分布图像确定原始图像。其中，损失检测模型训练过程中，输入样本为压缩视频帧，标注样本根据对应压缩视频帧与原始视频帧的残差视频帧确定。本公开通过训练得到的损失检测模型直接压缩图像进行损失标定，再通过模型输出的损失对初步修复后的图像进行修正，提升了压缩图像的修复质量。同时，本公开通过一个损失检测模型即可实现不同的压缩图像进行损失标定，减少了存储和传输成本。减少了存储和传输成本。减少了存储和传输成本。
【技术实现步骤摘要】
压缩图像修复方法及装置、电子设备和存储介质
[0001]本公开涉及计算机
，尤其涉及一种压缩图像修复方法及装置、电子设备和存储介质。
技术介绍
[0002]在视频编码过程中，会对视频中每一帧图像帧进行压缩以减小视频体积。在还原压缩视频时，由于其中每一视频帧的损失难以标定，相关技术对压缩视频帧的修复方式在未标定视频帧损失的情况下进行盲降噪，复杂度过高且降噪效果差。
技术实现思路
[0003]本公开提出了一种压缩图像修复方法及装置、电子设备和存储介质，旨在修复压缩图像时先进行损失标定，并直接根据标定的损失进行降噪，提高修复图像的效果。
[0004]根据本公开的第一方面，提供了一种压缩图像修复方法，包括：
[0005]通过预设的非盲修复算法对压缩图像进行修复，得到预修复图像；
[0006]将所述压缩图像输入训练得到的损失检测模型中，得到对应的损失分布图像；
[0007]根据所述压缩图像、所述预修复图像和所述损失分布图像确定原始图像，
[0008]其中，所述损失检测模型通过将原始视频帧对应的压缩视频帧作为输入样本，所述压缩视频帧对应的标注分布图像作为标注样本训练得到，每个所述标注分布图像通过对应的所述压缩视频帧，和所述压缩视频帧对应的原始视频帧的残差视频帧确定。
[0009]在一种可能的实现方式中，所述根据所述压缩图像、所述预修复图像和所述损失分布图像确定原始图像包括：
[0010]基于所述损失分布图像，对所述压缩图像和所述预修复图像进行透明度混合得到原始图像。
[0011]在一种可能的实现方式中，所述损失检测模型的训练过程包括：
[0012]确定至少一个原始视频帧，以及每个所述原始视频帧对应的压缩视频帧；
[0013]根据每个所述原始视频帧和对应的所述压缩视频帧，确定每个所述压缩视频帧的残差视频帧；
[0014]根据每个所述残差视频帧确定标注分布图像；
[0015]将每个所述压缩视频帧作为输入样本，每个所述压缩视频帧对应的标注分布图像作为标注样本训练得到损失检测模型。
[0016]在一种可能的实现方式中，所述确定至少一个原始视频帧，以及每个所述原始视频帧对应的压缩视频帧包括：
[0017]确定至少一个原始视频，以及每个所述原始视频对应的压缩视频；
[0018]从各所述原始视频中随机抽取至少一个视频帧作为原始视频帧，并在对应的压缩视频中抽取所述原始视频帧对应的压缩视频帧。
[0019]在一种可能的实现方式中，所述确定至少一个原始视频，以及每个所述原始视频
对应的压缩视频包括：
[0020]确定至少一个原始视频；
[0021]对于每个所述原始视频，随机选取对应的编码器和编码力度；
[0022]根据对应的编码器和编码力度，对每个所述原始视频进行视频编码得到压缩视频。
[0023]在一种可能的实现方式中，所述根据每个所述原始视频帧和对应的所述压缩视频帧，确定每个所述压缩视频帧的残差视频帧包括：
[0024]对每个所述原始视频帧和对应的所述压缩视频帧进行预处理；
[0025]计算预处理后每个所述原始视频帧和对应的所述压缩视频帧的差，得到每个所述压缩视频帧的残差视频帧。
[0026]在一种可能的实现方式中，所述对每个所述原始视频帧和对应的所述压缩视频帧进行预处理包括：
[0027]对每个所述原始视频帧和对应的所述压缩视频帧进行高通滤波。
[0028]在一种可能的实现方式中，所述根据每个所述残差视频帧确定标注分布图像包括：
[0029]对于每个所述残差视频帧，分别执行以下步骤：
[0030]确定所述残差视频帧中每个像素位置对应的像素区域；
[0031]确定每个所述像素区域对应的像素位置的特征值；
[0032]根据每个所述像素位置的特征值确定标注分布图像。
[0033]在一种可能的实现方式中，所述确定所述残差视频帧中每个像素位置对应的像素区域包括：
[0034]确定预设尺寸的图像框；
[0035]确定每个所述像素位置对应的像素区域为所述像素位置在所述图像框中心位置时，所述图像框中包括的残差视频帧区域。
[0036]在一种可能的实现方式中，每个所述像素位置对应的像素区域可以通过滑动所述图像框的方式获取。
[0037]在一种可能的实现方式中，所述确定每个所述像素区域对应的像素位置的特征值包括：
[0038]对于每个所述像素区域，计算其中包括的各像素的平方均值得到特征值。
[0039]在一种可能的实现方式中，所述根据每个所述像素位置的特征值确定标注分布图像包括：
[0040]将每个所述特征值存入对应的所述像素位置，得到标注分布图像。
[0041]根据本公开的第二方面，提供了一种压缩图像修复装置，包括：
[0042]图像修复模块，用于通过预设的非盲修复算法对压缩图像进行修复，得到预修复图像；
[0043]损失确定模块，用于将所述压缩图像输入训练得到的损失检测模型中，得到对应的损失分布图像；
[0044]原始图像确定模块，用于根据所述压缩图像、所述预修复图像和所述损失分布图像确定原始图像，
[0045]其中，所述损失检测模型通过将原始视频帧对应的压缩视频帧作为输入样本，所述压缩视频帧对应的标注分布图像作为标注样本训练得到，每个所述标注分布图像通过对应的所述压缩视频帧，和所述压缩视频帧对应的原始视频帧的残差视频帧确定。
[0046]在一种可能的实现方式中，所述原始图像确定模块包括：
[0047]图像融合子模块，用于基于所述损失分布图像，对所述压缩图像和所述预修复图像进行透明度混合得到原始图像。
[0048]在一种可能的实现方式中，所述损失检测模型的训练过程包括：
[0049]确定至少一个原始视频帧，以及每个所述原始视频帧对应的压缩视频帧；
[0050]根据每个所述原始视频帧和对应的所述压缩视频帧，确定每个所述压缩视频帧的残差视频帧；
[0051]根据每个所述残差视频帧确定标注分布图像；
[0052]将每个所述压缩视频帧作为输入样本，每个所述压缩视频帧对应的标注分布图像作为标注样本训练得到损失检测模型。
[0053]在一种可能的实现方式中，所述确定至少一个原始视频帧，以及每个所述原始视频帧对应的压缩视频帧包括：
[0054]确定至少一个原始视频，以及每个所述原始视频对应的压缩视频；
[0055]从各所述原始视频中随机抽取至少一个视频帧作为原始视频帧，并在对应的压缩视频中抽取所述原始视频帧对应的压缩视频帧。
[0056]在一种可能的实现方式中，所述确定至少一个原始视频，以及每个所述原始视频对应的压缩视频包括：
[0057]确定至少一个原始视频；
[0058]对于每个所述原始视频，随机选取对应的编码器和编码力度；
[0本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种压缩图像修复方法，其特征在于，所述方法包括：通过预设的非盲修复算法对压缩图像进行修复，得到预修复图像；将所述压缩图像输入训练得到的损失检测模型中，得到对应的损失分布图像；根据所述压缩图像、所述预修复图像和所述损失分布图像确定原始图像，其中，所述损失检测模型通过将原始视频帧对应的压缩视频帧作为输入样本，所述压缩视频帧对应的标注分布图像作为标注样本训练得到，每个所述标注分布图像通过对应的所述压缩视频帧，和所述压缩视频帧对应的原始视频帧的残差视频帧确定。2.根据权利要求1所述的方法，其特征在于，所述根据所述压缩图像、所述预修复图像和所述损失分布图像确定原始图像包括：基于所述损失分布图像，对所述压缩图像和所述预修复图像进行透明度混合得到原始图像。3.根据权利要求1或2所述的方法，其特征在于，所述损失检测模型的训练过程包括：确定至少一个原始视频帧，以及每个所述原始视频帧对应的压缩视频帧；根据每个所述原始视频帧和对应的所述压缩视频帧，确定每个所述压缩视频帧的残差视频帧；根据每个所述残差视频帧确定标注分布图像；将每个所述压缩视频帧作为输入样本，每个所述压缩视频帧对应的标注分布图像作为标注样本训练得到损失检测模型。4.根据权利要求3所述的方法，其特征在于，所述确定至少一个原始视频帧，以及每个所述原始视频帧对应的压缩视频帧包括：确定至少一个原始视频，以及每个所述原始视频对应的压缩视频；从各所述原始视频中随机抽取至少一个视频帧作为原始视频帧，并在对应的压缩视频中抽取所述原始视频帧对应的压缩视频帧。5.根据权利要求4所述的方法，其特征在于，所述确定至少一个原始视频，以及每个所述原始视频对应的压缩视频包括：确定至少一个原始视频；对于每个所述原始视频，随机选取对应的编码器和编码力度；根据对应的编码器和编码力度，对每个所述原始视频进行视频编码得到压缩视频。6.根据权利要求3
‑
5中任意一项所述的方法，其特征在于，所述根据每个所述原始视频帧和对应的所述压缩视频帧，确定每个所述压缩视频帧的残差视频帧包括：对每个所述原始视频帧和对应的所述压缩视频帧进行预处理；计算预处理后每个所述原始视频帧和对应的所述压缩视频帧的差，得到每个所述压缩视频帧的残差视频帧。7.根据权利要求6所述的方法，其特征在于，所述对每个所述原始视频帧和对应的所述压缩视频帧进行预...
【专利技术属性】
技术研发人员：许通达，袁涛，邵一璠，王岩，秦红伟，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。