图像处理方法、图像处理装置、模型训练方法制造方法及图纸

技术编号:37102427 阅读:46 留言:0更新日期:2023-04-01 05:02
本发明专利技术公开了一种图像处理方法、图像处理装置、模型训练方法,所述图像处理方法包括获取待处理图像,所述待处理图像由原始图像经解码处理后得到;获取所述原始图像在编码时的编码单元划分信息,所述编码单元划分信息包括各个编码单元的第一位置信息和第一大小信息;根据所述第一位置信息和所述第一大小信息将所述待处理图像进行划分,得到多个与所述编码单元对应的特征块;通过Transformer模块的自注意力机制建立多个所述特征块之间的联系,得到与所述原始图像对应的第一输出图像,可以更好地去除相邻特征块之间的差异性,使得块间过度更平滑,有利于增强图像画质。有利于增强图像画质。有利于增强图像画质。

【技术实现步骤摘要】
图像处理方法、图像处理装置、模型训练方法


[0001]本专利技术涉及图像处理
,尤其涉及一种图像处理方法、图像处理装置、模型训练方法。

技术介绍

[0002]随着技术的不断发展,人们对于图像画质的需求也越来越高,若数据量过大,在网络宽带或存储空间等因素的影响下,容易导致传输困难或存储困难,例如未经压缩的数字视频的数据量巨大,因此在数据传输或存储过程中需要对原始数据进行编码压缩,以去除空间、时间维度的冗余,通过传输系统将压缩的数据从编码端传输至解码端,经过解码能够还原原始数据。为了更好地提高编码质量,图像通常采用基于编码单元(Cod ing Un it,CU)的四叉树块分区结构,以最小率失真代价的方式划分出最佳编码单元,对每个编码单元分别进行编码,即采用基于块的编码方式进行编码,而随着码率的降低,量化变得粗糙,在块的边界会出现不连续,形成重建图像的明显缺陷,即产生块效应,由于相邻块之间存在明显差异的想象,使得原始视频在编解码后会产生失真,导致用户体验不佳。
[0003]目前相关技术所采用的图像画质增强算法能够对编解码的结果进行优化,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法,其特征在于,所述方法包括:获取待处理图像,所述待处理图像由原始图像经解码处理后得到;获取所述原始图像在编码时的编码单元划分信息,所述编码单元划分信息包括各个编码单元的第一位置信息和第一大小信息;根据所述第一位置信息和所述第一大小信息将所述待处理图像进行划分,得到多个与所述编码单元对应的特征块;通过Transformer模块的自注意力机制建立多个所述特征块之间的联系,得到与所述原始图像对应的第一输出图像。2.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述第一位置信息和所述第一大小信息将所述待处理图像进行划分,得到多个与所述编码单元对应的特征块,包括:将所述待处理图像按照所述第一位置信息和所述第一大小信息划分成多个特征块,以使所述特征块与所述原始图像在编码时划分的编码单元的位置和大小相同。3.根据权利要求1所述的图像处理方法,其特征在于,所述通过Transformer模块的自注意力机制建立多个所述特征块之间的联系之前,还包括:将多个所述特征块压平成多个第一特征数据,得到第一特征序列,其中,所述第一特征数据以一维向量表示;将所述第一特征序列输入至所述Transformer模块。4.根据权利要求3所述的图像处理方法,其特征在于,所述通过Transformer模块的自注意力机制建立多个所述特征块之间的联系,包括:根据所述第一特征数据和第一预设矩阵,得到由多个长度相同的第二特征数据组成的第二特征序列;通过Transformer模块的自注意力机制建立多个所述第二特征数据之间的相关性,通过残差连接和变换处理得到第三特征序列,其中,所述第三特征序列由多个第三特征数据组成;根据所述第三特征数据和第二预设矩阵,得到由多个第四特征数据组成的第四特征序列,其中,所述第四特征数据以一维向量表示;将所述第四特征数据还原成以二维向量表示的特征块;根据多个所述特征块得到所述第一输出图像。5.根据权利要求4所述的图像处理方法,其特征在于,所述通过Transformer模块的自注意力机制建立多个所述第二特征数据之间的相关性,包括:获取各个所述特征块在划分时的第二位置信息和第二大小信息;根据所述第二位置信息和所述第二大小信息,通过Transformer模块的自注意力机制建立多个所述第二特征数据之间的相关性;所述根据多个所述特征块得到所述第一输出图像,包括:根据所述第二位置信息将多个所述特征块拼接成所述第一输出图像。6.根据权利要求1所述的图像处理方法,其特征在于,还包括:对所述第一输出图像进行细节增强处理,得到第二输出图像。7.一种图像处理装置,其特征在于,包括:
划分模块,用于获取由原始图像经解码处理后得到的待处理图像,以及获取所述原始图像在编码时的编码单元划分信息,所述编码单元划分信息包括各个编码单元的第一位置信息和第一大小信息,并根据所述第一位置信息和所述第一大小信息将所述待处理图像进行划分,得到多个与所述编码单元对应的特征块;Transformer模块,用于通过自注意力机制建立多个所述特征块之间的联系,得到与所述原始图像对应的第一输出图像。8.根据权利要求7所述的图像处理装置,其特征在于,所述根据所述第一位置信息和所述第一大小信息将所述待处理图像进行划分,得到多个与所述编码单元对应的特征块,包括:将所述待处理图像按照所述第一位置信息和所述第一大小信息划分成多个特征块,以使所述特征块与所述原始图像在编码时划分的编码单元...

【专利技术属性】
技术研发人员:任聪刘衡祁徐科孔德辉宋剑军易自尧杨维
申请(专利权)人:深圳市中兴微电子技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1