图像处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：获取在曝光时间内曝光得到的模糊图像，以及在所述曝光时间内采样得到的事件数据，其中，所述事件数据用于反映所述模糊图像中的像素点的亮度变化；根据所述事件数据，确定所述曝光时间内的全局事件特征；根据所述模糊图像、所述事件数据和所述全局事件特征，确定所述模糊图像对应的清晰图像。本公开实施例可以得到模糊图像对应的图像质量较高的清晰图像，从而有效提高图像去模糊的效果。

【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种图像处理方法及装置、电子设备和存储介质。
技术介绍
在图像采集过程中，图像采集设备与被拍摄物体之间往往存在相对运动，因而造成了图像的运动模糊。图像去模糊是计算机视觉以及计算摄影学的重要研究问题，是图像画质增强，图像修复不可或缺的重要步骤。该技术广泛应用在摄影，娱乐，视频监控等多种场景。有鉴于此，如何提高图像去模糊的质量成为亟待解决的问题。
技术实现思路
本公开提出了一种图像处理方法及装置、电子设备和存储介质的技术方案。根据本公开的一方面，提供了一种图像处理方法，包括：获取在曝光时间内曝光得到的模糊图像，以及在所述曝光时间内采样得到的事件数据，其中，所述事件数据用于反映所述模糊图像中的像素点的亮度变化；根据所述事件数据，确定所述曝光时间内的全局事件特征；根据所述模糊图像、所述事件数据和所述全局事件特征，确定所述模糊图像对应的清晰图像。在一种可能的实现方式中，所述曝光时间内包括多个目标时刻；所述根据所述事件数据，确定所述曝光时间内的全局事件特征，包括：根据第i目标时刻和第i+1目标时刻之间的局部事件数据，确定所述第i目标时刻对应的局部事件特征，其中，i＝1,2,...,T-1；根据各目标时刻对应的局部事件特征，确定所述全局事件特征。在一种可能的实现方式中，所述根据所述模糊图像、所述事件数据和所述全局事件特征，确定所述模糊图像对应的清晰图像，包括：根据所述模糊图像、所述事件数据和所述全局事件特征，确定所述模糊图像在第T目标时刻对应的清晰图像。在一种可能的实现方式中，所述根据所述模糊图像、所述事件数据和所述全局事件特征，确定所述模糊图像在第T目标时刻对应的清晰图像，包括：基于运动模糊物理模型，根据所述模糊图像和所述事件数据，确定所述模糊图像在所述第T目标时刻对应的初始清晰图像；根据所述模糊图像在所述第T目标时刻对应的初始清晰图像和所述全局事件特征，确定所述模糊图像在所述第T时刻对应的清晰图像。在一种可能的实现方式中，所述方法还包括：根据所述模糊图像在所述第T目标时刻对应的清晰图像，确定所述模糊图像对应的清晰图像序列。在一种可能的实现方式中，所述根据所述模糊图像在所述第T目标时刻对应的清晰图像，确定所述模糊图像对应的清晰图像序列，包括：根据所述模糊图像在所述第i+1目标时刻对应的清晰图像、所述第i目标时刻和所述第i+1目标时刻之间的局部事件数据，以及所述第i目标时刻对应的局部事件特征，确定所述模糊图像在所述第i目标时刻对应的清晰图像，其中，i＝1,2,...,T-1；根据所述模糊图像在第1至T目标时刻对应的清晰图像，得到所述清晰图像序列。在一种可能的实现方式中，所述根据所述模糊图像在所述第i+1目标时刻对应的清晰图像、所述第i目标时刻和所述第i+1目标时刻之间的局部事件数据，以及所述第i目标时刻对应的局部事件特征，确定所述模糊图像在所述第i目标时刻对应的清晰图像，包括：根据所述模糊图像在所述第i+1目标时刻对应的清晰图像，以及所述第i目标时刻和所述第i+1目标时刻之间的局部事件数据，确定所述模糊图像在所述第i目标时刻对应的初始清晰图像；对所述第i目标时刻和所述第i+1目标时刻之间的局部事件数据进行滤波处理，确定所述第i目标时刻对应的边界特征图；根据所述模糊图像在所述第i目标时刻对应的初始清晰图像，以及所述第i目标时刻对应的边界特征图和局部事件特征，确定所述模糊图像在所述第i目标时刻对应的清晰图像。在一种可能的实现方式中，所述根据所述模糊图像在所述第i+1目标时刻对应的清晰图像，以及所述第i目标时刻和所述第i+1目标时刻之间的局部事件数据，确定所述模糊图像在所述第i目标时刻对应的初始清晰图像，包括：基于运动模糊物理模型，根据所述模糊图像在所述第i+1目标时刻对应的清晰图像，以及所述第i目标时刻和所述第i+1目标时刻之间的局部事件数据，确定所述模糊图像在所述第i目标时刻对应的初始清晰图像。在一种可能的实现方式中，所述根据所述模糊图像在所述第i+1目标时刻对应的清晰图像，以及所述第i目标时刻和所述第i+1目标时刻之间的局部事件数据，确定所述模糊图像在所述第i目标时刻对应的初始清晰图像，包括：根据所述第i目标时刻和所述第i+1目标时刻之间的局部事件数据，确定所述第i+1目标时刻到所述第i目标时刻的前向光流；根据所述模糊图像在所述第i+1目标时刻对应的清晰图像和所述前向光流，确定所述模糊图像在所述第i目标时刻对应的初始清晰图像。根据本公开的一方面，提供了一种图像处理装置，包括：第一确定模块，用于获取在曝光时间内曝光得到的模糊图像，以及在所述曝光时间内采样得到的事件数据，其中，所述事件数据用于反映所述模糊图像中的像素点的亮度变化；第二确定模块，用于根据所述事件数据，确定所述曝光时间内的全局事件特征；第三确定模块，用于根据所述模糊图像、所述事件数据和所述全局事件特征，确定所述模糊图像对应的清晰图像。根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。在本公开实施例中，根据模糊图像的曝光时间内采样得到的事件数据，可以确定用于反映曝光时间内场景运动信息的全局事件特征，使得基于事件数据和全局事件特征对模糊图像进行去模糊处理后，可以得到模糊图像对应的图像质量较高的清晰图像，从而有效提高图像去模糊的效果。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。图1示出根据本公开实施例的图像处理方法的流程图；图2示出根据本公开实施例的图像去模糊神经网络的示意图；图3示出根据本公开实施例的图像处理装置的框图；图4示出本公开实施例的一种电子设备的框图；图5示出本公开实施例的一种电子设备的框图。具体实施方式以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取在曝光时间内曝光得到的模糊图像，以及在所述曝光时间内采样得到的事件数据，其中，所述事件数据用于反映所述模糊图像中的像素点的亮度变化；/n根据所述事件数据，确定所述曝光时间内的全局事件特征；/n根据所述模糊图像、所述事件数据和所述全局事件特征，确定所述模糊图像对应的清晰图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取在曝光时间内曝光得到的模糊图像，以及在所述曝光时间内采样得到的事件数据，其中，所述事件数据用于反映所述模糊图像中的像素点的亮度变化；
根据所述事件数据，确定所述曝光时间内的全局事件特征；
根据所述模糊图像、所述事件数据和所述全局事件特征，确定所述模糊图像对应的清晰图像。


2.根据权利要求1所述的方法，其特征在于，所述曝光时间内包括多个目标时刻；
所述根据所述事件数据，确定所述曝光时间内的全局事件特征，包括：
根据第i目标时刻和第i+1目标时刻之间的局部事件数据，确定所述第i目标时刻对应的局部事件特征，其中，i＝1,2,...,T-1；
根据各目标时刻对应的局部事件特征，确定所述全局事件特征。


3.根据权利要求2所述的方法，其特征在于，所述根据所述模糊图像、所述事件数据和所述全局事件特征，确定所述模糊图像对应的清晰图像，包括：
根据所述模糊图像、所述事件数据和所述全局事件特征，确定所述模糊图像在第T目标时刻对应的清晰图像。


4.根据权利要求3所述的方法，其特征在于，所述根据所述模糊图像、所述事件数据和所述全局事件特征，确定所述模糊图像在第T目标时刻对应的清晰图像，包括：
基于运动模糊物理模型，根据所述模糊图像和所述事件数据，确定所述模糊图像在所述第T目标时刻对应的初始清晰图像；
根据所述模糊图像在所述第T目标时刻对应的初始清晰图像和所述全局事件特征，确定所述模糊图像在所述第T时刻对应的清晰图像。


5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：
根据所述模糊图像在所述第T目标时刻对应的清晰图像，确定所述模糊图像对应的清晰图像序列。


6.根据权利要求5所述的方法，其特征在于，所述根据所述模糊图像在所述第T目标时刻对应的清晰图像，确定所述模糊图像对应的清晰图像序列，包括：
根据所述模糊图像在所述第i+1目标时刻对应的清晰图像、所述第i目标时刻和所述第i+1目标时刻之间的局部事件数据，以及所述第i目标时刻对应的局部事件特征，确定所述模糊图像在所述第i目标时刻对应的清晰图像，其中，i＝1,2,...,T-1；
根据所述模糊图像在第1至T目标时刻对应的清晰图像，得到所述清晰图像序列。


7.根据权利要求6所述的方法，其特征在于，所述根据所述模糊图像在所述第i+1目标时刻对应的清晰图像、所述第i目标时刻和所述第i+1目标时刻之间的局部事件数据，以及所述第i目标时刻对应的局部事件特...

【专利技术属性】
技术研发人员：姜哲，张宇，邹冬青，任思捷，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11