一种图像处理方法及装置制造方法及图纸

本申请公开了一种图像处理方法及装置。该方法在根据光流法插帧时，不仅会进行光流运算还会进行深度运算。由于深度可以指示被摄物体与镜头之间的距离远近，深度越大表示距离越远，那么与该深度对应的像素应该越低。利用这一原理，可以通过深度对光流中的像素进行强化或弱化，从而使被插入的帧图像更为清晰和更为合理，也更接近真实的帧图像，使视频画面更为流畅，观看体验更佳。观看体验更佳。观看体验更佳。

【技术实现步骤摘要】
一种图像处理方法及装置


[0001]本申请涉及图像处理领域，尤其涉及一种图像处理方法及装置。

技术介绍

[0002]光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
[0003]通过光流法，可以对定时采集的帧序列进行插帧(根据上一时刻的帧和当前时刻的帧预测上一时刻和当前时刻之间某一时刻的帧)，将视频恢复合成为流畅完整的帧流。
[0004]现有的光流法帧预测神经网络，通常采用线性方法计算t时刻通过某点的光流，用光流包装t
‑
1时刻的图像和t+1时刻的图像,最后完成图像融合，得到t时刻的图像。但这种方法对光流预测的精度要求较高，当精度不高时，预测的帧会非常模糊，甚至会使预测帧中的图像发生变形。

技术实现思路

[0005]本申请人创造性地提供一种图像处理方法及装置。
[0006]根据本申请实施例第一方面，提供一种图像处理方法，该方法包括：根据t
‑
1时刻的第一帧图像和t+1时刻的第二帧图像进行光流运算，分别得到第一光流和第二光流，t为自然数，其中，第一光流为t
‑
1时刻帧图像到t+1时刻帧图像的光流，第二光流为t+1时刻帧图像到t
‑
1时刻帧图像的光流；根据第一帧图像和第二帧图像进行深度运算，分别得到第一深度和第二深度；根据第一帧图像、第一光流和第一深度确定第一预测帧图像；根据第二帧图像、第二光流和第二深度确定第二预测帧图像；对第一预测帧图像和第二预测帧图像进行合成得到第三预测帧图像。
[0007]根据本申请实施例一实施方式，根据第一帧图像和第二帧图像进行深度运算，分别得到第一深度和第二深度，包括：根据t
‑
1时刻的第一帧图像、t+1时刻的第二帧图像和深度网络模型得到第一深度和第二深度。
[0008]根据本申请实施例一实施方式，根据第一帧图像、第一光流和第一深度确定第一预测帧图像，包括：根据第一帧图像和第一光流得到第四预测帧图像；对第一深度进行单调性相反的函数运算得到每一像素点的出现概率；根据第四预测帧图像和每一像素点的出现概率，确定第一预测帧图像。
[0009]根据本申请实施例一实施方式，从根据t
‑
1时刻的第一帧图像和t+1时刻的第二帧图像进行光流运算，至对第一预测帧图像和第二预测帧图像进行合成得到第三预测帧图像的过程是由第一帧预测模型实现的。
[0010]根据本申请实施例一实施方式，在得到第三预测帧图像之后，方法还包括：根据第三预测帧图像和第二帧预测模型，确定第五预测帧图像，第二帧预测模型为生成式对抗神经网络模型，该生成式对抗神经网络模型的生成模型和判别模型基于相同的图像生成网络
模型。
[0011]根据本申请实施例一实施方式，在得到第三预测帧图像之前，该方法还包括：对第一帧预测模型进行预训练，得到预训练后的第一帧预测模型。
[0012]根据本申请实施例一实施方式，在根据第三帧图像和第二帧预测模型确定第六预测帧图像之前，该方法还包括：
[0013]基于预训练后的第一帧预测模型建立生成式对抗神经网络模型，得到第二帧预测模型；对第二帧预测模型进行对抗训练，得到对抗训练后的第二帧预测模型。
[0014]根据本申请实施例一实施方式，对第二帧预测模型进行对抗训练，包括：将第一帧预测模型的结果作为第二帧预测模型的生成模型的输入，将训练标签设置为1，对第二帧预测模型的生成模型进行训练；将第一帧预测模型的结果作为第二帧预测模型的判别模型的输入，将训练标签设置为0，对第二帧预测模型的判别模型进行训练。
[0015]根据本申请实施例一实施方式，在对第二帧预测模型进行对抗训练，得到对抗训练后的第二帧预测模型之后，该方法还包括：对第一帧预测模型和对抗训练后的第二帧预测模型进行联合训练。
[0016]根据本申请实施例第二方面，提供一种图像处理装置，该装置包括：光流预测模块，用于根据t
‑
1时刻的第一帧图像和t+1时刻的第二帧图像进行光流运算，分别得到第一光流和第二光流，t为自然数，其中，第一光流为t
‑
1时刻帧图像到t+1时刻帧图像的光流，第二光流为t+1时刻帧图像到t
‑
1时刻帧图像的光流；深度预测模块，用于根据所述第一帧图像和所述第二帧图像进行深度运算，分别得到第一深度和第二深度；第一预测帧图像预测模块，用于根据第一帧图像、第一光流和第一深度确定第一预测帧图像；第二预测帧图像预测模块，用于根据第二帧图像、第二光流和第二深度确定第二预测帧图像；帧合成模块，用于对第一预测帧图像和第二预测帧进行合成得到第三预测帧图像。
[0017]根据本申请实施例第三方面，提供一种计算机可读存储介质，存储介质包括一组计算机可执行指令，当指令被执行时用于执行上述任一项的图像处理方法。
[0018]本申请实施例提供一种图像处理方法及装置，该方法在根据光流法插帧时，不仅会进行光流运算还会进行深度运算。由于深度可以指示被摄物体与镜头之间的距离远近，深度越大表示距离越远，那么与该深度对应的像素应该越低。利用这一原理，可以通过深度对光流中的像素进行强化或弱化，从而使被插入的帧图像更为清晰和更为合理，也更接近真实的帧图像，使视频画面更为流畅，观看体验更佳。
[0019]需要理解的是，本申请的实施并不需要实现上面的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本申请的其他实施方式还能够实现上面未提到的有益效果。
附图说明
[0020]通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：
[0021]在附图中，相同或对应的标号表示相同或对应的部分。
[0022]图1为使用现有光流法进行插帧的流程示意图；
[0023]图2为本申请一实施例图像处理方法的实现流程示意图；
[0024]图3为本申请另一实施例应用图像处理方法的具体流程示意图；
[0025]图4为本申请另一实施例应用图像处理方法的具体流程示意图；
[0026]图5为图4所示实施例对所用模型进行训练的流程示意图；
[0027]图6为本申请一实施例图像处理装置的组成结构示意图。
具体实施方式
[0028]为使本申请的目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0029]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，所述方法包括：根据t
‑
1时刻的第一帧图像和t+1时刻的第二帧图像进行光流运算，分别得到第一光流和第二光流，t为自然数，其中，第一光流为t
‑
1时刻帧图像到t+1时刻帧图像的光流，第二光流为t+1时刻帧图像到t
‑
1时刻帧图像的光流；根据所述第一帧图像和所述第二帧图像进行深度运算，分别得到第一深度和第二深度；根据所述第一帧图像、所述第一光流和所述第一深度确定第一预测帧图像；根据所述第二帧图像、所述第二光流和所述第二深度确定第二预测帧图像；对所述第一预测帧图像和第二预测帧图像进行合成得到第三预测帧图像。2.根据权利要求1所述的方法，所述根据所述第一帧图像和所述第二帧图像进行深度运算，分别得到第一深度和第二深度，包括：根据t
‑
1时刻的第一帧图像、t+1时刻的第二帧图像和深度网络模型得到第一深度和第二深度。3.根据权利要求1所述的方法，所述根据所述第一帧图像、所述第一光流和所述第一深度确定第一预测帧图像，包括：根据第一帧图像和所述第一光流得到第四预测帧图像；对所述第一深度进行单调性相反的函数运算得到每一像素点的出现概率；根据所述第四预测帧图像和所述每一像素点的出现概率，确定第一预测帧图像。4.根据权利要求1所述的方法，从所述根据t
‑
1时刻的第一帧图像和t+1时刻的第二帧图像进行光流运算，至对所述第一预测帧图像和第二预测帧图像进行合成得到第三预测帧图像的过程是由第一帧预测模型实现的。5.根据权利要求4所述的方法，在所述得到第三预测帧图像之后，所述方法还包括：根据所述第三预测帧图像和第二帧预测模型，确定第五预测帧图像，所述第二帧预测模型为生成式对抗神经网络模型，所述生成式对抗神经网络模型的生成模型和判别模型基于相同的图像生成网络模型。6.根据权利要求5所述的...

【专利技术属性】
技术研发人员：张文昌，张冠南，白路远，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：