图片处理方法、装置、电子设备及存储介质制造方法及图纸

本公开涉及图片处理方法、装置、电子设备及存储介质，在本公开实施例中，在将预设长曝图片和预设短曝图片输入图片去模糊网络前，为了获得更大的感受野，保证去模糊的效果，利用下采样处理。同时图片去模糊网络结果可以作为第二个图片去噪网络的引导图，保证第二个网络只需要专注提升图片细节并去除一些残留噪声即可，最终获取满足模糊要求噪声要求的目标图片，如此，在提高操作方便程度的同时，还更加提升了输出逇目标图片的质量，即缓解运动模糊，同时增加去燥效果。同时增加去燥效果。同时增加去燥效果。

【技术实现步骤摘要】
图片处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种图片处理方法、装置、电子设备及存储介质。

技术介绍

[0002]手机拍摄的图片质量一直是手机厂商和消费者关注的重点，而如何去除图片中的运动模糊，又是提高图片质量的重中之重。
[0003]受限于手机硬件，目前的手机在拍摄运动物体的时候，会导致图片中出现较严重的运动模糊。而当前手机上使用的通用的拍摄防抖技术只能轻微缓解相机抖动带来的模糊问题，但对于运动物体带来的运动模糊仍无法解决。而单帧或者多帧短曝融合技术虽然能避免运动模糊，但去噪效果却不够理想。

技术实现思路

[0004]本公开提出了一种图片处理方法、装置、电子设备及存储介质，用于缓解运动模糊，同时增加去燥效果。
[0005]在一些可能的实施例中，本公开提供一种图片处理方法，该方法包括：
[0006]获取第一尺寸的预设长曝图片和第一尺寸的预设短曝图片；
[0007]对预设长曝图片和预设短曝图片进行下采样处理，得到待处理长曝图片和待处理短曝图片；
[0008]对待处理长曝图片和待处理短曝图片进行去模糊处理，得到过渡图片；
[0009]对过渡图片进行上采样处理，得到第一尺寸的待处理过渡图片；
[0010]对预设长曝图片、预设短曝图片和待处理过渡图片进行去噪处理，得到目标图片。
[0011]在一些可能的实施例中，图片处理方法是通过深度学习模型实现的，深度学习模型包括图片去模糊网络和图片去噪网络；
[0012]图片去模糊网络包括第一全连接层，第一下采样层，第一卷积层，第一上采样层和第一残差模块，其中，第一残差模块用于进行信息提取和转换；
[0013]图片去噪网络包括第二全连接层，第二卷积层，第二残差模块，第二上采样层，第二下采样层和短路连接模块，其中，第二残差模块用于进行信息提取和转换，短路连接模块用于增强信息。
[0014]通过两个网络在提高操作方便程度的同时，还提升输出的目标图片的质量，即缓解运动模糊，同时增加去燥效果。
[0015]在一些可能的实施例中，对待处理长曝图片和待处理短曝图片进行去模糊处理，得到过渡图片，包括：
[0016]基于图片去模糊网络对待处理长曝图片和待处理短曝图片进行去模糊处理和信息融合处理，得到过渡图片；
[0017]对预设长曝图片、预设短曝图片和待处理过渡图片进行去噪处理，得到目标图片，
包括：
[0018]基于图片去噪网络对预设长曝图片、预设短曝图片和待处理过渡图片进行去噪处理和细节增强处理，得到目标图片。
[0019]通过两个网络在提高操作方便程度的同时，还通过信息融合和细节增强处理提升输出的目标图片的质量，即缓解运动模糊，同时增加去燥效果。
[0020]在一些可能的实施例中，获取第一尺寸的预设长曝图片和第一尺寸的预设短曝图片之前，方法还包括：
[0021]获取第一样本图片集，其中，第一样本图片集是由视频帧数据通过数据仿真合成得到的；
[0022]基于第一样本图片集，对预设的当前第一机器学习模型进行训练，获得图片去模糊网络；
[0023]获取第二样本图片集，第二样本图片集包括第一样本图片集和去模糊图片集合；其中，去模糊图片集合中的去模糊图片和第一样本图片集中的样本图片对一一对应；去模糊图片集合是在训练图片去模糊网络过程中得到的；
[0024]基于第二样本图片集，对预设的第二机器学习模型进行训练，获得图片去噪网络。
[0025]在一些可能的实施例中，获取第一样本图片集，包括：
[0026]获取高清无噪声的视频帧数据，对视频帧数据进行颜色退化处理和噪声增加模拟处理，获得第一部分图片集；
[0027]对第一部分图片集中的图片进行模糊度差异值处理，获得第二部分图片集；
[0028]根据第一部分图片集和第二部分图片集，生成第一样本图片集。
[0029]在一些可能的实施例中，获取高清无噪声的视频帧数据，对视频帧数据进行颜色退化处理和噪声增加模拟处理，获得第一部分图片集，包括：
[0030]获取高清无噪声的视频帧数据；
[0031]基于采集到的视频帧数据中的连续N帧图片确定第一样本长曝图片；
[0032]基于采集到的视频帧数据中的第L帧图片确定第一样本短曝图片；第L帧图片位于N帧图片之后，且和N帧图片中最后一帧图片之间相隔M帧图片；N、M和L为正整数；对第一样本短曝图片进行颜色退化处理，得到第二样本短曝图片；
[0033]对第一样本长曝图片进行噪声增加模拟，得到第二样本长曝图片；
[0034]对第二样本短曝图片进行噪声增加模拟，得到第三样本短曝图片；
[0035]根据多个第一图片对，以及每个第一图片对对应的第一样本短曝图片得到第一部分图片集；每个第一图片对包含匹配的第二样本长曝图片和第三样本短曝图片。
[0036]通过对视频帧数据合成可以解决真实环境中很难采集这样的数据对的问题。
[0037]在一些可能的实施例中，基于采集到的视频帧数据中的连续N帧图片确定第一样本长曝图片，包括：
[0038]对视频帧数据进行插帧处理，得到处理后的视频帧数据；
[0039]基于处理后的视频帧数据中的连续N帧图片确定第一样本长曝图片。
[0040]通过插帧处理可以解决连续N帧图片合成的长曝图片与手机正常长曝采集的图片差别过大的问题。
[0041]在一些可能的实施例中，对第一样本长曝图片进行噪声增加模拟，得到第二样本
长曝图片，对第二样本短曝图片进行噪声增加模拟，得到第三样本短曝图片，包括：
[0042]将第一样本长曝图片由第一格式转化为第二格式；
[0043]将第二样本短曝图片由第一格式转化为第二格式；
[0044]对第二格式的第一样本长曝图片进行噪声增加模拟，得到第一样本长曝图片；
[0045]对第二格式的第二样本短曝图片进行噪声增加模拟，得到第二样本短曝图片；
[0046]将第一样本长曝图片由第二格式转化成第一格式，得到第二样本长曝图片；
[0047]将第二样本短曝图片由第二格式转化成第一格式，得到第三样本短曝图片。
[0048]由于网上下载的视频帧数据导致得到的第一样本长曝图片和第二样本短曝图片和后续的应用策略是不一致的，因此，需要通过格式转换保证后续的处理符合应用策略。
[0049]在一些可能的实施例中，对第一部分图片集中的图片进行模糊度差异值处理，获得第二部分图片集，包括：
[0050]从每个第一图片对对应的第一样本短曝图片、第二样本长曝图片和第三样本短曝图片上确定相同位置的截取区域；
[0051]截取第二样本长曝图片中的截取区域的图片，得到第三样本长曝图片；
[0052]截取第三样本短曝图片中的截取区域的图片，得到第四样本短曝图片；
[0053]截取第一样本短曝图片中的截取区域的图片本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图片处理方法，其特征在于，所述方法包括：获取第一尺寸的预设长曝图片和所述第一尺寸的预设短曝图片；对所述预设长曝图片和所述预设短曝图片进行下采样处理，得到待处理长曝图片和待处理短曝图片；对所述待处理长曝图片和所述待处理短曝图片进行去模糊处理，得到过渡图片；对所述过渡图片进行上采样处理，得到所述第一尺寸的待处理过渡图片；对所述预设长曝图片、所述预设短曝图片和所述待处理过渡图片进行去噪处理，得到目标图片。2.根据权利要求1所述的图片处理方法，其特征在于，所述图片处理方法是通过深度学习模型实现的，所述深度学习模型包括图片去模糊网络和图片去噪网络；所述图片去模糊网络包括第一全连接层，第一下采样层，第一卷积层，第一上采样层和第一残差模块，其中，所述第一残差模块用于进行信息提取和转换；所述图片去噪网络包括第二全连接层，第二卷积层，第二残差模块，第二上采样层，第二下采样层和短路连接模块，其中，所述第二残差模块用于进行信息提取和转换，所述短路连接模块用于增强信息。3.根据权利要求2所述的图片处理方法，其特征在于，所述对所述待处理长曝图片和所述待处理短曝图片进行去模糊处理，得到过渡图片，包括：基于所述图片去模糊网络对所述待处理长曝图片和所述待处理短曝图片进行去模糊处理和信息融合处理，得到过渡图片；所述对所述预设长曝图片、所述预设短曝图片和所述待处理过渡图片进行去噪处理，得到目标图片，包括：基于所述图片去噪网络对所述预设长曝图片、所述预设短曝图片和所述待处理过渡图片进行去噪处理和细节增强处理，得到目标图片。4.根据权利要求1
‑
3任一所述的图片处理方法，其特征在于，所述获取第一尺寸的预设长曝图片和所述第一尺寸的预设短曝图片之前，所述方法还包括：获取第一样本图片集，其中，所述第一样本图片集是由视频帧数据通过数据仿真合成得到的；基于所述第一样本图片集，对预设的当前第一机器学习模型进行训练，获得所述图片去模糊网络；获取第二样本图片集，所述第二样本图片集包括所述第一样本图片集和去模糊图片集合；其中，所述去模糊图片集合中的去模糊图片和所述第一样本图片集中的样本图片对一一对应；所述去模糊图片集合是在训练所述图片去模糊网络过程中得到的；基于所述第二样本图片集，对预设的第二机器学习模型进行训练，获得所述图片去噪网络。5.根据权利要求4所述的图片处理方法，其特征在于，所述获取第一样本图片集，包括：获取高清无噪声的视频帧数据，对所述视频帧数据进行颜色退化处理和噪声增加模拟处理，获得第一部分图片集；对所述第一部分图片集中的图片进行模糊度差异值处理，获得第二部分图片集；根据所述第一部分图片集和所述第二部分图片集，生成所述第一样本图片集。6.根据权利要求5所述的图片处理方法，其特征在于，所述获取高清无噪声的视频帧数据，对所述视频帧数据进行颜色退化处理和噪声增加模拟处理，获得第一部分图片集，包
括：获取高清无噪声的视频帧数据；基于采集到的所述视频帧数据中的连续N帧图片确定第一样本长曝图片；基于采集到的所述视频帧数据中的第L帧图片确定第一样本短曝图片；所述第L帧图片位于所述N帧图片之后，且和所述N帧图片中最后一帧图片之间相隔M帧图片；所述N、所述M和所述L为正整数；对所述第一样本短曝图片进行颜色退化处理，得到第二样本短曝图片；对所述第一样本长曝图片进行噪声增加模拟，得到第二样本长曝图片；对所述第二样本短曝图片进行噪声增加模拟，得到第三样本短曝图片；根据多个第一图片对，以及每个第一图片对对应的第一样本短曝图片得到所述第一部分图片集；所述每个第一图片对包含匹配的所述第二样本长曝图片和所述第三样本短曝图片。7.根据权利要求6所述的图片处理方法，其特征在于，所述基于采集到的所述视频帧数据中的连续N帧图片确定第一样本长曝图片，包括：对所述视频帧数据进行插帧处理，得到处理后的视频帧数据；基于所述处...

【专利技术属性】
技术研发人员：许泳哲，赵昱植，杨定东，严琼，
申请(专利权)人：深圳市慧鲤科技有限公司，
类型：发明
国别省市：