一种图像处理方法及装置制造方法及图纸

本发明专利技术公开了一种图像处理方法及装置，从视频中获取至少一个第一视频帧和第二视频帧，并根据第一视频帧和第二视频帧，确定第二视频帧的至少一个主要对象，进一步基于主要对象，确定基于主要对象对第一视频帧和第二视频帧进行图像增强的增强等级，以根据增强等级对第一视频帧和第二视频帧进行图像增强。由此，完全通过软件算法即可实现对视频图像的增强，可以通过多种方法对软件算法进行实时优化和升级，并且可以根据视频帧中主要对象调整增强等级，例如：对于运动变化较小或者用户注意力较低的对象使用较低级别的增强效果，如此，显著提升图像处理效率，节约计算和存储资源，并有效节约图像处理芯片的功耗。效节约图像处理芯片的功耗。效节约图像处理芯片的功耗。

【技术实现步骤摘要】
一种图像处理方法及装置


[0001]本专利技术涉及视频处理
，尤其涉及一种图像处理方法及装置。

技术介绍

[0002]随着图像和视频处理技术的发展，人们对图像的清晰度和流畅性追求越来越高。目前MEMC(运动补偿技术)类图像处理芯片在对Video Stream(视频播放及游戏画面场景)进行图像处理和运动补偿处理的过程中，均使用硬件仿真算法。硬件仿真算法的原理为编码预测，编码预测是数据压缩理论的一个重要分支，可以根据离散信号之间存在一定相关性特点，利用前面的一个或多个信号对下一个信号进行预测，然后对实际值和预测值的差值(预测误差)进行编码。但是编码预测更关注于信号本身，而不是图像中的物体与图像显示内容，如此，处理的效果较差，更容易引入画面问题。同时，使用传统预测编码进行运动补偿的过程中所采用的硬件仿真算法本身由硬件电路实现的，硬件电路升级难度较大且成本较高。例如：图1为使用传统的宏模块预测编码进行运动预测的示例。

技术实现思路

[0003]本专利技术实施例提供一种图像处理方法及装置。
[0004]根据本专利技术第一方面，提供了一种图像处理方法，所述方法包括：从视频中获取至少一个第一视频帧和第二视频帧，所述第一视频帧是所述第二视频帧的前向帧；根据所述第一视频帧和所述第二视频帧，确定所述第二视频帧的至少一个主要对象；基于所述主要对象，确定基于所述主要对象对所述第一视频帧和所述第二视频帧进行图像增强的增强等级；根据所述增强等级对所述第一视频帧和所述第二视频帧进行图像增强。
[0005]根据本专利技术一实施方式，所述根据所述第一视频帧和所述第二视频帧，确定所述第二视频帧的主要对象，包括：根据所述第一视频帧和所述第二视频帧，确定所述第二视频帧的多个对象的对象运动属性；根据所述对象运动属性是否符合设定运动范围，确定所述第二视频帧的至少一个主要对象。
[0006]根据本专利技术一实施方式，所述根据所述对象运动属性是否符合设定运动范围，确定所述第二视频帧的至少一个主要对象，包括：对象运动属性符合设定运动范围的对象进行边缘检测，得到边缘检测结果；根据所述边缘检测结果确定所述第二视频帧的至少一个主要对象。
[0007]根据本专利技术一实施方式，所述基于所述主要对象，确定基于所述主要对象对所述第一视频帧和所述第二视频帧进行图像增强的增强等级，包括：确定所述主要对象的运动属性；根据所述主要对象的运动属性，确定基于所述主要对象在所述第一视频帧和所述第二视频帧进行图像增强的增强等级。
[0008]根据本专利技术一实施方式，若运动属性包括加速度，所述根据所述主要对象的运动属性，确定基于所述主要对象对所述第一视频帧和所述第二视频帧进行图像增强的增强等级，包括：在所述加速度满足第一加速度条件的情况下，确定基于所述主要对象对所述第一
视频帧和所述第二视频帧进行图像增强的增强等级为第一等级；在所述加速度满足第二加速度条件的情况下，确定基于所述主要对象对所述第一视频帧和所述第二视频帧进行图像增强的增强等级为第二等级。
[0009]根据本专利技术一实施方式，所述根据所述增强等级对所述第一视频帧和所述第二视频帧进行图像增强，包括：基于所述主要对象和所述增强等级，确定所述第一视频帧和所述第二视频的中间帧光流数据；根据中间帧光流数据，对所述第一视频帧和所述第二视频帧进行图像增强。
[0010]根据本专利技术一实施方式，所述基于所述主要对象，确定所述第一视频帧和所述第二视频的中间帧光流数据，包括：获取所述主要对象在所述第一视频帧的第一位置和在所述第二视频帧中的第二位置；对所述第一位置和所述第二位置进行光流处理，得到所述主要对象在所述中间帧中的第一预测位置；根据所述第一预测位置进行反向训练，得到反向训练的训练结果；对所述反向训练的训练结果进行归一化处理，并基于归一化处理结果，得到所述主要对象在所述中间帧的目标预测位置。
[0011]根据本专利技术一实施方式，所述根据所述第一预测位置进行反向训练，包括：基于所述第一预测位置，对所述主要对象进行所述第一视频帧与所述第二视频帧之间的空间关联，得到关联结果；对所述关联结果进行稀疏处理，得到稀疏向量；基于所述稀疏向量，提取所述中间帧的图像局部特征；对所述图像局部特征进行残差处理，得到残差处理结果；对所述残差处理结果进行稠密处理，得到所述反向训练的训练结果。
[0012]根据本专利技术一实施方式，所述根据中间帧光流数据，对所述第一视频帧和所述第二视频帧进行图像增强，包括：根据所述第一视频帧和所述中间帧光流数据，确定前向预测帧；根据所述第二视频帧和所述中间帧光流数据，确定反向预测帧；确定所述前向预测帧和所述反向预测帧的双向预测误差；根据所述误差和所述中间帧光流数据，确定所述第一视频帧和所述第二视频帧的预测中间帧。
[0013]根据本专利技术第二方面，还提供了一种图像处理装置，所述装置包括：获取模块，用于从视频中获取第一视频帧和第二视频帧，所述第一视频帧是所述第二视频帧的前向帧；对象确定模块，用于根据所述第一视频帧和所述第二视频帧，确定所述第二视频帧的至少一个主要对象；等级确定模块，用于基于所述主要对象，确定基于所述主要对象对所述第一视频帧和所述第二视频进行图像增强的增强等级；增强模块，用于根据所述增强等级，对所述第一视频帧和所述第二视频帧进行图像增强。
[0014]本专利技术实施例图像处理方法及装置，从视频中获取至少一个第一视频帧和第二视频帧，并根据第一视频帧和第二视频帧，确定第二视频帧的至少一个主要对象，进一步基于主要对象，确定基于主要对象对第一视频帧和第二视频帧进行图像增强的增强等级，以根据增强等级对第一视频帧和第二视频帧进行图像增强。由此，完全通过软件算法即可实现对视频图像的增强，可以通过多种方法对软件算法进行实时优化和升级，并且可以根据视频帧中主要对象调整增强等级，例如：对于运动变化较小或者用户注意力较低的对象使用较低级别的增强效果，如此，显著提升图像处理效率，节约计算和存储资源，并有效节约图像处理芯片的功耗。
[0015]需要理解的是，本专利技术的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本专利技术的其他实施方式还能够实现上面未提到
的有益效果。
附图说明
[0016]通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若干实施方式，其中：
[0017]在附图中，相同或对应的标号表示相同或对应的部分。
[0018]图1示出了使用传统的宏模块预测编码进行运动预测的示例；
[0019]图2示出了本专利技术实施例图像处理方法的实现流程示意图；
[0020]图3示出了本专利技术实施例光流法的图像序列中光流场的示意图；
[0021]图4示出了本专利技术实施例光流法的图像光流可视化运动场的示意图；
[0022]图5示出了本专利技术实施例光流法中物体在连续四帧间的运动过程示意图；
[0023]图6示出了利用光本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，所述方法包括：从视频中获取至少一个第一视频帧和第二视频帧，所述第一视频帧是所述第二视频帧的前向帧；根据所述第一视频帧和所述第二视频帧，确定所述第二视频帧的至少一个主要对象；基于所述主要对象，确定基于所述主要对象对所述第一视频帧和所述第二视频帧进行图像增强的增强等级；根据所述增强等级对所述第一视频帧和所述第二视频帧进行图像增强。2.根据权利要求1所述的方法，所述根据所述第一视频帧和所述第二视频帧，确定所述第二视频帧的主要对象，包括：根据所述第一视频帧和所述第二视频帧，确定所述第二视频帧的多个对象的对象运动属性；根据所述对象运动属性是否符合设定运动范围，确定所述第二视频帧的至少一个主要对象。3.根据权利要求2所述的方法，所述根据所述对象运动属性是否符合设定运动范围，确定所述第二视频帧的至少一个主要对象，包括：对象运动属性符合设定运动范围的对象进行边缘检测，得到边缘检测结果；根据所述边缘检测结果确定所述第二视频帧的至少一个主要对象。4.根据权利要求1所述的方法，所述基于所述主要对象，确定基于所述主要对象对所述第一视频帧和所述第二视频帧进行图像增强的增强等级，包括：确定所述主要对象的运动属性；根据所述主要对象的运动属性，确定基于所述主要对象在所述第一视频帧和所述第二视频帧进行图像增强的增强等级。5.根据权利要求1所述的方法，若运动属性包括加速度，所述根据所述主要对象的运动属性，确定基于所述主要对象对所述第一视频帧和所述第二视频帧进行图像增强的增强等级，包括：在所述加速度满足第一加速度条件的情况下，确定基于所述主要对象对所述第一视频帧和所述第二视频帧进行图像增强的增强等级为第一等级；在所述加速度满足第二加速度条件的情况下，确定基于所述主要对象对所述第一视频帧和所述第二视频帧进行图像增强的增强等级为第二等级。6.根据权利要求1所述的方法，所述根据所述增强等级对所述第一视频帧和所述第二视频帧进行图像增强，包括：基于所述主要对象和所述增强等级，确定所述第一视频...

【专利技术属性】
技术研发人员：原昊天，金正操，肖启华，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：