图像处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：根据模糊图像和所述模糊图像对应的模糊核，确定所述模糊图像对应的权重矩阵，所述权重矩阵中包括所述模糊图像中的像素点对应的置信度值，像素点i对应的置信度值小于预设置信度阈值，所述像素点i是所述模糊图像中的饱和像素点，和/或，所述像素点i是所述模糊图像中受所述饱和像素点影响的非饱和像素点；根据所述模糊图像，确定所述模糊图像对应的超参数，所述超参数用于对所述模糊图像进行去模糊处理；根据所述模糊核、所述权重矩阵和所述超参数，对所述模糊图像进行迭代去模糊处理，得到所述模糊图像对应的目标清晰图像。

Image processing method and device, electronic equipment and storage medium

【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种图像处理方法及装置、电子设备和存储介质。
技术介绍
图像非盲去模糊是指给定模糊核，从模糊图像中恢复出清晰图像的过程，是计算机视觉和图像处理领域的热门研究话题。在弱光条件下(例如，夜间)拍摄图像时，由于受到光照和曝光时间的影响，拍摄得到的图像往往既存在一定程度的模糊，同时也存在一定量的饱和像素点。区别于非饱和像素点，对饱和像素点而言，它们的成像过程不符合线性图像模糊模型。因此，在对包含饱和像素点的模糊图像进行去模糊的情况下，受到饱和像素点的影响，导致去模糊效果较差。
技术实现思路
本公开提出了一种图像处理方法及装置、电子设备和存储介质的技术方案。根据本公开的一方面，提供了一种图像处理方法，包括：根据模糊图像和所述模糊图像对应的模糊核，确定所述模糊图像对应的权重矩阵，所述权重矩阵中包括所述模糊图像中的像素点对应的置信度值，像素点i对应的置信度值小于预设置信度阈值，所述像素点i是所述模糊图像中的饱和像素点，和/或，所述像素点i是所述模糊图像中受所述饱和像素点影响的非饱和像素点；根据所述模糊图像，确定所述模糊图像对应的超参数，所述超参数用于对所述模糊图像进行去模糊处理；根据所述模糊核、所述权重矩阵和所述超参数，对所述模糊图像进行迭代去模糊处理，得到所述模糊图像对应的目标清晰图像。根据模糊图像和模糊图像对应的模糊核，确定模糊图像对应的权重矩阵，以及确定超参数，由于权重矩阵可以使得模糊图像中的饱和像素点，和/或，模糊图像中受饱和像素点影响的非饱和像素点对应的置信度值，小于预设置信度阈值，从而可以降低饱和像素点对图像去模糊过程的影响，超参数可以降低图像去模糊过程的噪声影响，使得根据模糊核、权重矩阵和超参数，对模糊图像进行迭代去模糊处理之后，可以得到清晰度较高的目标清晰图像，从而有效提高了对包含饱和像素点的模糊图像的去模糊效果。在一种可能的实现方式中，所述像素点i对应的置信度值小于像素点j对应的置信度值，所述像素点j是所述模糊图像中不受所述饱和像素点影响的非饱和像素点。通过权重矩阵，为模糊图像中的饱和像素点，和/或，模糊图像中受饱和像素点影响的非饱和像素点，确定较低的置信度值，以及为模糊图像中不受饱和像素点影响的非饱和像素点确定较高的置信度值，以使得可以降低饱和像素点，和/或受饱和像素点影响的非饱和像素点，对图像去模糊过程的贡献，以及提高不受饱和像素点影响的非饱和像素点对图像去模糊过程中的贡献，从而可以提高去模糊效果。在一种可能的实现方式中，所述像素点i对应的置信度值是0。通过权重矩阵，直接为模糊图像中的饱和像素点，和/或，模糊图像中受饱和像素点影响的非饱和像素点，确定是0的置信度值，以使得可以将饱和像素点和/或受饱和像素点影响的非饱和像素点，对图像去模糊过程的影响降到最低，从而可以提高去模糊效果。在一种可能的实现方式中，所述根据模糊图像和所述模糊图像对应的模糊核，确定所述模糊图像对应的权重矩阵，包括：根据所述模糊图像和所述模糊核，确定用于对所述模糊图像进行第(t+1)次去模糊处理的第t个权重矩阵Mt，t是大于或等于0的整数；所述根据所述模糊图像，确定所述模糊图像对应的超参数，包括：根据所述模糊图像，确定用于对所述模糊图像进行第(t+1)次去模糊处理的第t个超参数λt。针对每次迭代优化过程，均确定用于本次迭代优化的权重矩阵和超参数，以在本次迭代优化过程中降低饱和像素点和噪声对图像去模糊的影响，从而可以提高本次迭代优化过程的去模糊效果。在一种可能的实现方式中，所述根据所述模糊图像和所述模糊核，确定用于对所述模糊图像进行第(t+1)次去模糊处理的第t个权重矩阵Mt，包括：在t大于或等于1的情况下，根据所述模糊图像、所述模糊核，以及第t个预测清晰图像It，确定所述第t个权重矩阵Mt，所述第t个预测清晰图像It是对所述模糊图像进行第t次去模糊处理后生成的；在t＝0的情况下，第0个权重矩阵M0是全0矩阵。利用模糊图像、模糊核以及上一次迭代去模糊处理后生成的预测清晰图像，自动估计用于进行下一次迭代去模糊处理的权重矩阵，降低了去模糊过程所用的时间，从而既可以提高去模糊效果，又可以提高去模糊效率。在一种可能的实现方式中，所述根据所述模糊图像，确定用于对所述模糊图像进行第(t+1)次去模糊处理的第t个超参数λt，包括：根据所述第t个预测清晰图像It，以及第t个隐藏状态张量HSt，确定所述第t个超参数λt，以及第(t+1)个隐藏状态张量HSt+1；其中，在t＝0的情况下，第0个预测清晰图像I0是所述模糊图像，第0个隐藏状态张量HS0是全0矩阵。利用上一次迭代去模糊处理后生成的预测清晰图像以及隐藏状态张量，动态的自动估计用于进行下一次迭代去模糊处理的超参数，降低了去模糊过程所用的时间，从而既可以提高去模糊效果，又可以提高去模糊效率。在一种可能的实现方式中，所述根据所述模糊核、所述权重矩阵和所述超参数，对所述模糊图像进行迭代去模糊处理，得到所述模糊图像对应的目标清晰图像，包括：确定用于对所述模糊图像进行第(t+1)次去模糊处理的第t个先验图像Ut；根据所述模糊核、所述第t个权重矩阵Mt、所述第t个超参数λt和所述第t个先验图像Ut，对所述模糊图像进行第(t+1)次去模糊处理，生成第(t+1)个预测清晰图像It+1；在(t+1)达到预设迭代次数的情况下，将所述第(t+1)个预测清晰图像It+1确定为所述目标清晰图像。根据模糊核、权重矩阵、超参数以及先验图像，对模糊图像进行多次迭代去模糊处理，降低了饱和像素点和噪声对图像去模糊过程的影响，可以得到清晰度较高的目标清晰图像，从而有效提高了对包含饱和像素点的模糊图像的去模糊效果。在一种可能的实现方式中，所述确定用于对所述模糊图像进行第(t+1)次去模糊处理的第t个先验图像Ut，包括：在t大于或等于1的情况下，对第t个预测清晰图像It进行降噪处理，生成所述第t个先验图像Ut，所述第t个预测清晰图像是对所述模糊图像进行第t次去模糊处理后生成的；在t＝0的情况下，第0个先验图像U0是全0矩阵。在图像去模糊过程中，利用上一次迭代去模糊处理后生成的预测清晰图像，自动估计用于进行下一次迭代去模糊处理的先验图像，以使得可以规范化图像去模糊的求解空间，从而可以有效提高图像去模糊效果。在一种可能的实现方式中，所述根据所述模糊核、所述第t个权重矩阵Mt、所述第t个超参数λt和所述第t个先验图像Ut，对所述模糊图像进行第(t+1)次去模糊处理，生成第(t+1)个预测清晰图像，包括：根据所述模糊图像、所述模糊核、所述第t个预测清晰图像It、所述第t个权重矩阵Mt、所述第t个超参数λt和所述第t个先验图像Ut，执行基于共轭梯度下降的反卷积处理，生成所述第(t+1)个预测清晰图像It+1。由于图像去模糊过程中涉及Hadamard乘积，无法通过快速傅里叶变换(FastFourierTransformation，FFT)进行图像去模糊处理，本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n根据模糊图像和所述模糊图像对应的模糊核，确定所述模糊图像对应的权重矩阵，所述权重矩阵中包括所述模糊图像中的像素点对应的置信度值，像素点i对应的置信度值小于预设置信度阈值，所述像素点i是所述模糊图像中的饱和像素点，和/或，所述像素点i是所述模糊图像中受所述饱和像素点影响的非饱和像素点；/n根据所述模糊图像，确定所述模糊图像对应的超参数，所述超参数用于对所述模糊图像进行去模糊处理；/n根据所述模糊核、所述权重矩阵和所述超参数，对所述模糊图像进行迭代去模糊处理，得到所述模糊图像对应的目标清晰图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
根据模糊图像和所述模糊图像对应的模糊核，确定所述模糊图像对应的权重矩阵，所述权重矩阵中包括所述模糊图像中的像素点对应的置信度值，像素点i对应的置信度值小于预设置信度阈值，所述像素点i是所述模糊图像中的饱和像素点，和/或，所述像素点i是所述模糊图像中受所述饱和像素点影响的非饱和像素点；
根据所述模糊图像，确定所述模糊图像对应的超参数，所述超参数用于对所述模糊图像进行去模糊处理；
根据所述模糊核、所述权重矩阵和所述超参数，对所述模糊图像进行迭代去模糊处理，得到所述模糊图像对应的目标清晰图像。


2.根据权利要求1所述的方法，其特征在于，所述像素点i对应的置信度值小于像素点j对应的置信度值，所述像素点j是所述模糊图像中不受所述饱和像素点影响的非饱和像素点。


3.根据权利要求1或2所述的方法，其特征在于，所述像素点i对应的置信度值是0。


4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述根据模糊图像和所述模糊图像对应的模糊核，确定所述模糊图像对应的权重矩阵，包括：
根据所述模糊图像和所述模糊核，确定用于对所述模糊图像进行第(t+1)次去模糊处理的第t个权重矩阵Mt，t是大于或等于0的整数；
所述根据所述模糊图像，确定所述模糊图像对应的超参数，包括：
根据所述模糊图像，确定用于对所述模糊图像进行第(t+1)次去模糊处理的第t个超参数λt。


5.根据权利要求4所述的方法，其特征在于，所述根据所述模糊图像和所述模糊核，确定用于对所述模糊图像进行第(t+1)次去模糊处理的第t个权重矩阵Mt，包括：
在t大于或等于1的情况下，根据所述模糊图像、所述模糊核，以及第t个预测清晰图像It，确定所述第t个权重矩阵Mt，所述第t个预测清晰图像It是对所述模糊图像进行第t次去模糊处理后生成的；
在t＝0的情况下，第0个权重矩阵M0是全0矩阵。


6.根据权利要求4或5所述的方法，其特征在于，所述根据所述模糊图像，确定用于对所述模糊图像进行第(t+1)次去模糊处理的第t个超参数λt，包括：
根据所述第t个预测清晰图像It，以及第t个隐藏状态张量HSt，确定所述第t个超参数λt，以及第(t+1)个隐藏状态张量HSt+1；
其中，在t＝0的情况下，第0个预测清晰图像I0是所述模糊图像，第0个隐藏状态张量HS0是全0矩阵。


7.根据权利要求4至6中任意一项所述的方法，其特征在于，所述根据所述模糊核、所述权重矩阵和所述超参数，对所述模糊图像进行迭代去模糊处理，得到所述模糊图像对应的目标清晰图像，包括：<...

【专利技术属性】
技术研发人员：陈亮，张佳维，任思捷，
申请(专利权)人：深圳市慧鲤科技有限公司，
类型：发明
国别省市：广东;44