图像处理方法、装置、设备、存储介质及计算机程序产品制造方法及图纸

本申请公开了一种图像处理方法、装置、设备、存储介质及计算机程序产品。该方法包括：获取事件相机所采集到的滚动快门RS帧以及RS帧所对应的事件数据；通过图像处理模型的编码单元对RS帧和事件数据进行编码，得到RS帧所对应的空间‑时间隐式表示STR数据；通过图像处理模型的时间嵌入单元将与RS帧对应的全局快门GS帧的曝光时间嵌入到STR数据中，得到RS帧所对应的时间张量；通过图像处理模型的解码单元对RS帧所对应的时间张量及RS帧所对应的STR数据进行逐像素解码，生成GS帧。采用本申请所提出的方案能够提高从RS帧中恢复出的GS帧的清晰度。

【技术实现步骤摘要】

本申请属于计算机视觉领域，尤其涉及一种图像处理方法、装置、设备、存储介质及计算机程序产品。

技术介绍

1、在相关技术中，基于cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)传感器的消费级摄像机通常采用rs(rolling shutter，滚动快门)机制。然而，在快速运动场景下，基于cmos传感器的消费级摄像机拍摄的帧通常出现rs失真和模糊。为提高摄像机拍摄图像的清晰度，需从模糊的rs帧中恢复出高帧率清晰的gs(globalshutter，全局快门)帧。通常通过对rs帧进行校正、去模糊以及帧插值的方式来从模糊的rs帧中恢复出清晰的gs帧。

2、然而，在相关技术中，通常将rs帧的校正、去模糊和帧插值作为独立任务处理，并通过现有的图像增强网络级联处理。该方式增加了累积误差和显著地人为痕迹，从而降低了恢复出的gs帧的清晰度。

技术实现思路

1、本申请实施例提供一种图像处理方法、装置、设备、存储介质及计算机程序产品，能够提高从rs帧中恢复出的g本文档来自技高网...

【技术保护点】

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，通过图像处理模型的编码单元对所述RS帧和所述事件数据进行编码，得到所述RS帧所对应的空间-时间隐式表示STR数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述编码单元包括卷积神经网络的卷积层，通过所述编码单元对所述RS帧和所述事件数据进行特征提取，得到所述RS帧对应的空间特征和时间特征，包括：

4.根据权利要求2所述的方法，其特征在于，所述编码单元包括图神经网络，通过所述编码单元对所述RS帧和所述事件数据进行特征提取，得到所述RS帧对应的空间特征和时间特征，包...

【技术特征摘要】

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，通过图像处理模型的编码单元对所述rs帧和所述事件数据进行编码，得到所述rs帧所对应的空间-时间隐式表示str数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述编码单元包括卷积神经网络的卷积层，通过所述编码单元对所述rs帧和所述事件数据进行特征提取，得到所述rs帧对应的空间特征和时间特征，包括：

4.根据权利要求2所述的方法，其特征在于，所述编码单元包括图神经网络，通过所述编码单元对所述rs帧和所述事件数据进行特征提取，得到所述rs帧对应的空间特征和时间特征，包括：

5.根据权利要求1所述的方法，其特征在于，通过所述图像处理模型的时间嵌入单元将与所述rs帧对应的全局快门gs帧的曝光时间嵌入到所述str数据中，得到所述rs帧所对应的时间张量，包括：

6.根据权利要求5所述的方法，其特征在于，所述时间嵌入单元包括多层感知机，其中，根据所述映射关系，将所述gs帧的曝光时间嵌入到所述str数据中，得到所述rs帧所对应的时间张量，包括：

7.根据权利要求5所述的方法，其特征在于，根据所述映射关系，将所述gs帧的曝光时间嵌入到所述str数据中，得到所述rs帧所...

【专利技术属性】
技术研发人员：熊辉，卢云帆，梁国强，
申请(专利权)人：香港科技大学广州，
类型：发明
国别省市：