一种图像处理方法、图像展示方法、模型训练方法及装置制造方法及图纸

技术编号:22365064 阅读:43 留言:0更新日期:2019-10-23 05:00
本申请公开了一种图像处理方法,包括:获取待处理图像,待处理图像对应于第一倍率;获取待处理图像所对应的缩放倍数信息,缩放倍数信息用于指示对待处理图像进行放大处理的倍数,或者对待处理图像进行缩小处理的倍数;根据缩放倍数信息确定级联次数,其中,级联次数表示待处理图像经过图像处理模型的次数;按照级联次数,通过图像处理模型获取待处理图像所对应的目标图像,目标图像对应于第二倍率,第二倍率与级联次数具有关联关系,且第二倍率不同于第一倍率。本申请还公开了一种图像展示方法,模型训练方法以及装置。本申请利用图像处理模型实现了任意放大倍数的图像超分辨,在保证性能的情况下对任意放大倍数的图像超分辨。

An image processing method, image display method, model training method and device

【技术实现步骤摘要】
一种图像处理方法、图像展示方法、模型训练方法及装置
本申请涉及人工智能领域,尤其涉及一种图像处理方法、图像展示方法、模型训练方法及装置。
技术介绍
在多种应用场景中,受限于图像采集设备成本,或者视频图像传输带宽,又或者成像模态本身的技术瓶颈,并不是每一次都有条件获得高清的图像,由此,超分辨率技术应运而生。超分辨率技术可从观测到的低分辨率图像重建出相应的高分辨率图像,在监控设备、卫星图像和医学影像等领域都有重要的应用价值。目前,为了可以更好地实现超分辨率技术,已经设计出一种超分辨率任意放大网络(AMagnification-ArbitraryNetworkforSuper-Resolution,Meta-SR),Meta-SR通过增加基于元学习的滤波器生成模块,以及修改上采样方式,实现单一模型任意放大倍数的图像超分辨。然而,由于Meta-SR的输入信息包括放大倍数,因此,训练后得到的Meta-SR只能适用于固定范围内的放大倍数,针对一些放大倍数无法实现相应的放大处理,由此,降低了图像处理的灵活性,减少了图像放大的使用范围。
技术实现思路
本申请实施例提供了一种图像处理方法、图像展示方法、模型训练方法及装置,无需针对不同放大倍数训练不同的模型,某放大倍数下的图像处理模型可以通过级联方式实现更大的放大倍数,具有幂次关系的放大倍数只需要训练一个模型,从而减少了需要训练和保存的模型数,由此,提升了灵活性,增大了图像放大的使用范围。有鉴于此,本申请第一方面提供一种图像处理方法,包括:获取待处理图像,其中,所述待处理图像对应于第一倍率;获取所述待处理图像所对应的缩放倍数信息,其中,所述缩放倍数信息用于指示对所述待处理图像进行放大处理的倍数,或者对所述待处理图像进行缩小处理的倍数;根据所述缩放倍数信息确定级联次数,其中,所述级联次数为大于或等于1的整数,所述级联次数表示采用相同的图像处理模型对所述待处理图像进行处理的次数;按照所述级联次数,通过所述图像处理模型获取所述待处理图像所对应的目标图像,其中,所述目标图像对应于第二倍率,所述第二倍率与所述级联次数具有关联关系,且所述第二倍率不同于所述第一倍率。本申请第二方面提供一种图像展示方法,包括:获取待处理图像,其中,所述待处理图像对应于第一倍率;接收图像调节指令,其中,所述图像调节指令携带图像放大参数,所述图像放大参数用于指示对所述待处理图像进行放大处理的倍数;响应于所述图像调节指令,根据所述图像放大参数确定级联次数,其中,所述级联次数为大于或等于1的整数,所述级联次数表示采用相同的图像处理模型对所述待处理图像进行处理的次数;按照所述级联次数,通过所述图像处理模型获取所述待处理图像所对应的目标图像,其中,所述目标图像对应于第二倍率,所述第二倍率与所述级联次数具有关联关系,且所述第二倍率大于所述第一倍率;展示所述目标图像。本申请第三方面提供一种模型训练方法,包括:获取待训练图像样本集合,其中,所述待训练图像样本集合属于待训练图像数据集合,所述待训练图像样本集合包括至少一个待训练图像样本,每个待训练图像样本包括第一图像、第二图像和第三图像,所述第一图像与所述第二图像具有预设采样倍率,且所述第二图像与所述第三图像具有所述预设采样倍率;生成随机数值,其中,所述随机数值大于或等于0,且小于或等于1;根据所述随机数值与比率数值,从所述待训练图像样本集合中确定待训练对象集合,其中,所述待训练对象集合包括至少一个待训练对象,每个待训练对象包括所述第二图像以及所述第三图像,或者,所述每个待训练对象包括第一预测图像以及所述第三图像,所述第一预测图像为所述第一图像通过待训练图像处理模型之后得到的;采用所述待训练对象集合对所述待训练图像处理模型进行训练,得到图像处理模型。本申请第四方面提供一种图像处理装置,包括:获取模块,用于获取待处理图像,其中,所述待处理图像对应于第一倍率;所述获取模块,还用于获取所述待处理图像所对应的缩放倍数信息,其中,所述缩放倍数信息用于指示对所述待处理图像进行放大处理的倍数,或者对所述待处理图像进行缩小处理的倍数;确定模块,用于根据所述获取模块获取的所述缩放倍数信息确定级联次数,其中,所述级联次数为大于或等于1的整数,所述级联次数表示采用相同的图像处理模型对所述待处理图像进行处理的次数;所述获取模块,还用于按照所述确定模块确定的所述级联次数,通过所述图像处理模型获取所述待处理图像所对应的目标图像,其中,所述目标图像对应于第二倍率,所述第二倍率与所述级联次数具有关联关系,且所述第二倍率不同于所述第一倍率。本申请第五方面提供一种图像展示装置,包括:获取模块,用于获取待处理图像,其中,所述待处理图像对应于第一倍率;接收模块,用于接收图像调节指令,其中,所述图像调节指令携带图像放大参数,所述图像放大参数用于指示对所述待处理图像进行放大处理的倍数;确定模块,用于响应于所述接收模块接收的所述图像调节指令,根据所述图像放大参数确定级联次数,其中,所述级联次数为大于或等于1的整数,所述级联次数表示采用相同的图像处理模型对所述待处理图像进行处理的次数;所述获取模块,还用于按照所述确定模块确定的所述级联次数,通过所述图像处理模型获取所述待处理图像所对应的目标图像,其中,所述目标图像对应于第二倍率,所述第二倍率与所述级联次数具有关联关系,且所述第二倍率大于所述第一倍率;展示模块,用于展示所述获取模块获取的所述目标图像。本申请第六方面提供一种图像处理模型训练装置,包括:获取模块,用于获取待训练图像样本集合,其中,所述待训练图像样本集合属于待训练图像数据集合,所述待训练图像样本包括至少一个待训练图像样本,每个待训练图像样本包括第一图像、第二图像和第三图像,所述第一图像与所述第二图像具有预设采样倍率,且所述第二图像与所述第三图像具有所述预设采样倍率;生成模块,用于生成随机数值,其中,所述随机数值大于或等于0,且小于或等于1;确定模块,用于根据所述生成模块生成的所述随机数值与比率数值,从所述待训练图像样本集合中确定待训练对象集合,其中,所述待训练对象集合包括至少一个待训练对象,每个待训练对象包括所述第二图像以及所述第三图像,或者,所述每个待训练对象包括第一预测图像以及所述第三图像,所述第一预测图像为所述第一图像通过待训练图像处理模型之后得到的;训练模块,用于采用所述确定模块确定的所述待训练对象集合对所述待训练图像处理模型进行训练,得到图像处理模型。在一种可能的设计中,在本申请实施例的第六方面的第一种实现方式中,所述确定模块,具体用于判断所述随机数值是否大于所述比率数值;若所述随机数值大于所述比率数值,则从所述待训练图像样本集合中获取所述待训练图像样本所对应的所述第一图像和第三图像;通过所述待训练图像处理模型获取所述第一图像所对应的所述第一预测图像;根据所述第一预测图像与所述第三图像生成所述待训练对象集合中的待训练对象。在一种可能的设计中,在本申请实施例的第六方面的第二种实现方式中,所述确定模块,具体用于判断所述随机数值是否大于所述比率数值;若所述随机数值小于或等于所述比率数值,则从所述待训练图像样本集合中获取所述待训练图像样本所对应的所述第二图像和第三图像;根据所述第二图像与所述第三图像本文档来自技高网...

【技术保护点】
1.一种图像处理方法,其特征在于,包括:获取待处理图像,其中,所述待处理图像对应于第一倍率;获取所述待处理图像所对应的缩放倍数信息,其中,所述缩放倍数信息用于指示对所述待处理图像进行放大处理的倍数,或者对所述待处理图像进行缩小处理的倍数;根据所述缩放倍数信息确定级联次数,其中,所述级联次数为大于或等于1的整数,所述级联次数表示采用相同的图像处理模型对所述待处理图像进行处理的次数;按照所述级联次数,通过所述图像处理模型获取所述待处理图像所对应的目标图像,其中,所述目标图像对应于第二倍率,所述第二倍率与所述级联次数具有关联关系,且所述第二倍率不同于所述第一倍率。

【技术特征摘要】
1.一种图像处理方法,其特征在于,包括:获取待处理图像,其中,所述待处理图像对应于第一倍率;获取所述待处理图像所对应的缩放倍数信息,其中,所述缩放倍数信息用于指示对所述待处理图像进行放大处理的倍数,或者对所述待处理图像进行缩小处理的倍数;根据所述缩放倍数信息确定级联次数,其中,所述级联次数为大于或等于1的整数,所述级联次数表示采用相同的图像处理模型对所述待处理图像进行处理的次数;按照所述级联次数,通过所述图像处理模型获取所述待处理图像所对应的目标图像,其中,所述目标图像对应于第二倍率,所述第二倍率与所述级联次数具有关联关系,且所述第二倍率不同于所述第一倍率。2.一种图像展示方法,其特征在于,包括:获取待处理图像,其中,所述待处理图像对应于第一倍率;接收图像调节指令,其中,所述图像调节指令携带图像放大参数,所述图像放大参数用于指示对所述待处理图像进行放大处理的倍数;响应于所述图像调节指令,根据所述图像放大参数确定级联次数,其中,所述级联次数为大于或等于1的整数,所述级联次数表示采用相同的图像处理模型对所述待处理图像进行处理的次数;按照所述级联次数,通过所述图像处理模型获取所述待处理图像所对应的目标图像,其中,所述目标图像对应于第二倍率,所述第二倍率与所述级联次数具有关联关系,且所述第二倍率大于所述第一倍率;展示所述目标图像。3.一种模型训练方法,其特征在于,包括:获取待训练图像样本集合,其中,所述待训练图像样本集合属于待训练图像数据集合,所述待训练图像样本集合包括至少一个待训练图像样本,每个待训练图像样本包括第一图像、第二图像和第三图像,所述第一图像与所述第二图像具有预设采样倍率,且所述第二图像与所述第三图像具有所述预设采样倍率;生成随机数值,其中,所述随机数值大于或等于0,且小于或等于1;根据所述随机数值与比率数值,从所述待训练图像样本集合中确定待训练对象集合,其中,所述待训练对象集合包括至少一个待训练对象,每个待训练对象包括所述第二图像以及所述第三图像,或者,所述每个待训练对象包括第一预测图像以及所述第三图像,所述第一预测图像为所述第一图像通过待训练图像处理模型之后得到的;采用所述待训练对象集合对所述待训练图像处理模型进行训练,得到图像处理模型。4.根据权利要求3所述的模型训练方法,其特征在于,所述根据所述随机数值与比率数值,从所述待训练图像样本集合中确定待训练对象集合,包括:判断所述随机数值是否大于所述比率数值;若所述随机数值大于所述比率数值,则从所述待训练图像样本集合中获取所述待训练图像样本所对应的所述第一图像和第三图像;通过所述待训练图像处理模型获取所述第一图像所对应的所述第一预测图像;根据所述第一预测图像与所述第三图像生成所述待训练对象集合中的待训练对象。5.根据权利要求3所述的模型训练方法,其特征在于,所述根据所述随机数值与比率数值,从所述待训练图像样本集合中确定待训练对象集合,包括:判断所述随机数值是否大于所述比率数值;若所述随机数值小于或等于所述比率数值,则从所述待训练图像样本集合中获取所述待训练图像样本所对应的所述第二图像和第三图像;根据所述第二图像与所述第三图像生成所述待训练对象集合中的待训练对象。6.根据权利要求3所述的模型训练方法,其特征在于,所述获取待训练图像样本集合,包括:获取第一待训练图像样本,其中,所述第一待训练图像样本包括所述第一图像、所述第二图像和所述第三图像;获取第二待训练图像样本,其中,所述第二待训练图像样本包括第四图像、所述第一图像和所述第二图像,所述第四图像与所述第一图像具有预设采样倍率;获取第三待训练图像样本,其中,所述第三待训练图像样本包括第五图像、所述第四图像和所述第一图像,所述第五图像与所述第四图像具有预设采样倍率;根据所述第一待训练图像样本、所述第二待训练图像样本以及所述第三待训练图像样本,生成待训练图像样本。7.根据权利要求3所述的模型训练方法,其特征在于,所述根据所述随机数值与比率数值,从所述待训练图像样本集合中确定待训练对象集合之前,所述方法还包括:获取偏移值以及斜率值;获取所述待训练图像样本集合所对应的迭代次数;根据所述偏移值、所述斜率值以及所述待训练图像样本集合所对应的迭代次数,确定所述待训练图像样本集合所对应的所述比率数值。8.根据权利要求3至7中任一项所述的模型训练方法,其特征在于,所述采用所述待训练对象集合对所述待训练图像处理模型进行训练,得到图像处理模型,包括:通过所述待训练图像处理模型获取所述待训练对象集合中每个待训练对象所对应的第二预测图像;根据所述每个待训练对象所对应的第二预测图像以及所述每个待训练对象所对应的期望图像,采用目标损失函数确定网络模型参数;采用所述网络模型参数合对所述待训练图像处理模型进行训练,得到所述图像处理模型;所述根据所述每个待训练对象所对应的第二预测图像以及所述每个待训练对象所对应的期望图像,采用目标损失函数确定网络模型参数,包括:采用如下方式确定所述网络模型参数:其中,所述L(θ)表示所述目标损失函数,所述θ表示所述网络模型参数,所述n表示所述待训练图像样本集合中的待训练图像样本总数量,所述xi表示所述待训练对象集合中的第i个待训练对象,所述net(xi,θ)表示所述第i个待训练对象所对应的第二预测图像,所述yi所述第i个待训练对象所对应的期望图像。9.一种图像处理装置,其特征在于,包括:获取模块,用于获取待处理图像,其中,所述待处理图像对应于第一倍率;所述获取模块,还用于获取所述待处理图像所对应的缩放倍数信息,其中,所述缩放倍数信息用于指示对所述待处理图像进...

【专利技术属性】
技术研发人员:陈为张博文
申请(专利权)人:腾讯科技深圳有限公司北京交通大学
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1