图像处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：根据第i个待处理图像的事件信息及第i‑1个待处理图像的事件信息，确定所述第i个待处理图像的亮度增量信息，所述事件信息是通过事件采集设备获取的，i为大于1的整数；根据所述第i个待处理图像、所述第i‑1个待处理图像的修复图像，及所述第i个待处理图像的亮度增量信息，确定所述第i个待处理图像的修复图像，所述修复图像的清晰度大于所述待处理图像的清晰度。本公开实施例可提高图像去模糊的效果。

Image processing method and device, electronic equipment and storage medium

【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种图像处理方法及装置、电子设备和存储介质。
技术介绍
传统的图像采集设备可以采集到符合人们的观察习惯的图像，例如RGB图像。而事件采集设备(例如事件相机，EventCamera)能够采集到高时间频率的异步亮度变化(也即事件(Event))。在相关技术中，可通过与模糊图像对应的事件对模糊图像进行去模糊处理，然而相关技术的处理方式的图像处理效果较差。
技术实现思路
本公开提出了一种图像处理技术方案。根据本公开的一方面，提供了一种图像处理方法，包括：根据第i个待处理图像的事件信息及第i-1个待处理图像的事件信息，确定所述第i个待处理图像的亮度增量信息，所述事件信息是通过事件采集设备获取的，i为大于1的整数；根据所述第i个待处理图像、所述第i-1个待处理图像的修复图像，及所述第i个待处理图像的亮度增量信息，确定所述第i个待处理图像的修复图像，所述修复图像的清晰度大于所述待处理图像的清晰度。在一种可能的实现方式中，所述根据第i个待处理图像的事件信息及第i-1个待处理图像的事件信息，确定所述第i个待处理图像的亮度增量信息，包括：对所述第i个待处理图像的事件信息及第i-1个待处理图像的事件信息进行特征提取，得到所述第i个待处理图像的第一事件特征；根据所述第一事件特征的卷积核张量，对所述第一事件特征进行卷积，得到所述第i个待处理图像的第二事件特征，所述卷积核张量包括所述第一事件特征的各个通道的卷积核；对所述第二事件特征进行亮度增量预测，得到所述第i个待处理图像的亮度增量信息。在一种可能的实现方式中，所述根据第i个待处理图像的事件信息及第i-1个待处理图像的事件信息，确定所述第i个待处理图像的亮度增量信息，还包括：根据与所述第i个待处理图像对应的参考信息，对所述第一事件特征的各个通道进行卷积核预测，得到所述第一事件特征的卷积核张量，所述卷积核张量的通道数与第一事件特征的通道数相同，其中，所述参考信息包括所述第i个待处理图像和/或所述第i个待处理图像的事件信息。在一种可能的实现方式中，所述参考信息还包括所述第i-1个待处理图像、所述第i-1个待处理图像的事件信息及所述第i-1个待处理图像的修复图像中的至少一种。在一种可能的实现方式中，所述亮度增量信息包括：所述第i个待处理图像相对于所述第i-1个待处理图像的第一亮度增量信息，以及所述第i个待处理图像相对于所述第i-1个待处理图像的修复图像的第二亮度增量信息，所述根据所述第i个待处理图像、所述第i-1个待处理图像的修复图像，及所述第i个待处理图像的亮度增量信息，确定所述第i个待处理图像的修复图像，包括：将所述第i个待处理图像与所述第一亮度增量信息相乘，得到所述第i个待处理图像的第一修复图像；将所述第i-1个待处理图像的修复图像与所述第二亮度增量信息相乘，得到所述第i个待处理图像的第二修复图像；根据所述第i个待处理图像及所述第i个待处理图像的事件信息，对所述第一修复图像及所述第二修复图像进行权值预测，得到所述第一修复图像的第一权值及所述第二修复图像的第二权值；根据所述第一权值及所述第二权值，将所述第一修复图像及所述第二修复图像加权相加，得到所述第i个待处理图像的修复图像。在一种可能的实现方式中，所述待处理图像的修复图像包括2n+1个修复图像，n为正整数，所述亮度增量信息还包括所述第i个待处理图像的2n+1个修复图像相对于所述第i-1个待处理图像的2n+1个修复图像的第三亮度增量信息，所述根据所述第i个待处理图像、所述第i-1个待处理图像的修复图像，及所述第i个待处理图像的亮度增量信息，确定所述第i个待处理图像的修复图像，还包括：将所述第一修复图像及所述第二修复图像分别与所述第三亮度增量信息相乘，得到2n+1组第三修复图像；根据所述第i个待处理图像及所述第i个待处理图像的事件信息，分别对所述2n+1组第三修复图像中每组的各个第三修复图像进行权值预测，得到所述2n+1组第三修复图像的第三权值；根据所述第三权值，将所述2n+1组第三修复图像中每组的各个第三修复图像加权相加，得到所述第i个待处理图像的2n+1个修复图像。在一种可能的实现方式中，所述第二亮度增量信息包括2n+1个第二亮度增量信息，所述将所述第i-1个待处理图像的修复图像与所述第二亮度增量信息相乘，得到所述第i个待处理图像的第二修复图像，包括：将所述第i-1个待处理图像的2n+1个修复图像分别与所述2n+1个第二亮度增量信息中相应的第二亮度增量信息相乘，得到所述第i个待处理图像的2n+1个第二修复图像。在一种可能的实现方式中，其特征在于，所述待处理图像为N个，N为整数且1<i≤N，所述方法还包括：根据N个所述待处理图像的修复图像，确定与N个所述待处理图像对应的修复视频。根据本公开的一方面，提供了一种图像处理装置，包括：增量信息确定模块，用于根据第i个待处理图像的事件信息及第i-1个待处理图像的事件信息，确定所述第i个待处理图像的亮度增量信息，所述事件信息是通过事件采集设备获取的，i为大于1的整数；图像修复模块，用于根据所述第i个待处理图像、所述第i-1个待处理图像的修复图像，及所述第i个待处理图像的亮度增量信息，确定所述第i个待处理图像的修复图像，所述修复图像的清晰度大于所述待处理图像的清晰度。在一种可能的实现方式中，所述增量信息确定模块，包括：特征提取子模块，用于对所述第i个待处理图像的事件信息及第i-1个待处理图像的事件信息进行特征提取，得到所述第i个待处理图像的第一事件特征；卷积子模块，用于根据所述第一事件特征的卷积核张量，对所述第一事件特征进行卷积，得到所述第i个待处理图像的第二事件特征，所述卷积核张量包括所述第一事件特征的各个通道的卷积核；增量预测子模块，用于对所述第二事件特征进行亮度增量预测，得到所述第i个待处理图像的亮度增量信息。在一种可能的实现方式中，所述增量信息确定模块，还包括：卷积核预测子模块，用于根据与所述第i个待处理图像对应的参考信息，对所述第一事件特征的各个通道进行卷积核预测，得到所述第一事件特征的卷积核张量，所述卷积核张量的通道数与第一事件特征的通道数相同，其中，所述参考信息包括所述第i个待处理图像和/或所述第i个待处理图像的事件信息。在一种可能的实现方式中，所述参考信息还包括所述第i-1个待处理图像、所述第i-1个待处理图像的事件信息及所述第i-1个待处理图像的修复图像中的至少一种。在一种可能的实现方式中，所述亮度增量信息包括：所述第i个待处理图像相对于所述第i-1个待处理图像的第一亮度增量信息，以及所述第i个待处理图像相对于所述第i-1个待处理图像的修复图像的第二亮度增量信息，所述图像修复模块，包括：第一修复子模块，用于将所述第i个待处理图像与所述第一亮度增量信息相乘，得到所述第i个待处理图像的第一修复图像；第二修复子模块，用于将所述第i-1个待处理图像的修复图像与所述第二亮度增量信息相乘，得到所述第i个待处理图像的第本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n根据第i个待处理图像的事件信息及第i-1个待处理图像的事件信息，确定所述第i个待处理图像的亮度增量信息，所述事件信息是通过事件采集设备获取的，i为大于1的整数；/n根据所述第i个待处理图像、所述第i-1个待处理图像的修复图像，及所述第i个待处理图像的亮度增量信息，确定所述第i个待处理图像的修复图像，所述修复图像的清晰度大于所述待处理图像的清晰度。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
根据第i个待处理图像的事件信息及第i-1个待处理图像的事件信息，确定所述第i个待处理图像的亮度增量信息，所述事件信息是通过事件采集设备获取的，i为大于1的整数；
根据所述第i个待处理图像、所述第i-1个待处理图像的修复图像，及所述第i个待处理图像的亮度增量信息，确定所述第i个待处理图像的修复图像，所述修复图像的清晰度大于所述待处理图像的清晰度。


2.根据权利要求1所述的方法，其特征在于，所述根据第i个待处理图像的事件信息及第i-1个待处理图像的事件信息，确定所述第i个待处理图像的亮度增量信息，包括：
对所述第i个待处理图像的事件信息及第i-1个待处理图像的事件信息进行特征提取，得到所述第i个待处理图像的第一事件特征；
根据所述第一事件特征的卷积核张量，对所述第一事件特征进行卷积，得到所述第i个待处理图像的第二事件特征，所述卷积核张量包括所述第一事件特征的各个通道的卷积核；
对所述第二事件特征进行亮度增量预测，得到所述第i个待处理图像的亮度增量信息。


3.根据权利要求2所述的方法，其特征在于，所述根据第i个待处理图像的事件信息及第i-1个待处理图像的事件信息，确定所述第i个待处理图像的亮度增量信息，还包括：
根据与所述第i个待处理图像对应的参考信息，对所述第一事件特征的各个通道进行卷积核预测，得到所述第一事件特征的卷积核张量，所述卷积核张量的通道数与第一事件特征的通道数相同，
其中，所述参考信息包括所述第i个待处理图像和/或所述第i个待处理图像的事件信息。


4.根据权利要求3所述的方法，其特征在于，所述参考信息还包括所述第i-1个待处理图像、所述第i-1个待处理图像的事件信息及所述第i-1个待处理图像的修复图像中的至少一种。


5.根据权利要求1-4中任意一项所述的方法，其特征在于，所述亮度增量信息包括：所述第i个待处理图像相对于所述第i-1个待处理图像的第一亮度增量信息，以及所述第i个待处理图像相对于所述第i-1个待处理图像的修复图像的第二亮度增量信息，
所述根据所述第i个待处理图像、所述第i-1个待处理图像的修复图像，及所述第i个待处理图像的亮度增量信息，确定所述第i个待处理图像的修复图像，包括：
将所述第i个待处理图像与所述第一亮度增量信息相乘，得到所述第i个待处理图像的第一修复图像；
将所述第i-1个待处理图像的修复图像与所述第二亮度增量信息相乘，得到所述第i个待处理图像的第二修复图像；
根据所述第i个待处理图像及所述第i个待处理图像的事件信息，对所述第一修复图像及所述第二修复图像进行权值预测，得到所述第一修复图像的第一权值及所述第二修复图像的第二权值；
根据所述第一权值...

【专利技术属性】
技术研发人员：林松楠，张佳维，任思捷，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11