图像处理方法、装置、电子设备、存储介质及程序产品制造方法及图纸

本申请提供了一种图像处理方法、装置、电子设备、存储介质及程序产品，涉及人工智能、计算机视觉等领域。该方法通过获取目标透镜元件对应的输入图像，输入图像包括与目标透镜元件的缺陷相关的至少一个第一标注信息；通过第一神经网络模型，对输入图像进行特征抽取，并构建输入图像的至少两个图像块之间的相关性，得到特征抽取结果；基于相关性和第一标注信息，生成输入图像对应的与目标透镜元件的缺陷相关的第二标注信息；基于特征抽取结果和第二标注信息，训练分割网络模型，基于训练好的分割网络模型对透镜元件的缺陷进行分割处理，以将分割结果用于透镜元件缺陷的判定，能够实现自动化地进行透镜元件缺陷检测，有效提升质量筛查效率和准确率。查效率和准确率。查效率和准确率。

【技术实现步骤摘要】
图像处理方法、装置、电子设备、存储介质及程序产品


[0001]本申请涉及图像处理
，具体而言，本申请涉及一种图像处理方法、装置、电子设备、存储介质及程序产品。

技术介绍

[0002]随着5G(5th Generation Mobile Communication Technology，第五代移动通信技术)产业、自动驾驶等产业的发展，消费电子、汽车电子等产业迎来了新的发展机遇。光学模组作为智能机器的视觉基础组件，扮演着人类眼睛的角色，在环境感知、自动化智能、提升用户体验方面发挥着举足轻重的作用。
[0003]其中，透镜元件通常是光学模组中的重要组成部分，以透镜元件是摄像头镜头为例，常见的摄像头模组是由多个不同的分立元件组装而成，而镜头是外部光线进入摄像头成像所经过的第一道门槛，因此透镜元件本身的清洁程度将很大地影响成像质量。但在实际生产中，透镜元件部分极易留下指纹、浮尘等脏污，是产品缺陷集中出现的点位，给产线合格率带来很大的挑战。
[0004]目前，都是靠人工目视来对透镜元件进行筛选，由于光学模组体积普遍小型化，通过人工目视来进行透镜元件缺陷的判定，需要借助显微镜，极大地降低了产线效率。

技术实现思路

[0005]本申请实施例的目的旨在解决透镜元件缺陷的判定效率低的技术问题。
[0006]根据本申请实施例的一个方面，提供了一种图像处理方法，该方法包括：
[0007]获取目标透镜元件对应的输入图像，输入图像包括与目标透镜元件的缺陷相关的至少一个第一标注信息；
[0008]通过第一神经网络模型，对输入图像进行特征抽取，并构建输入图像的至少两个图像块之间的相关性，得到包含相关性的特征抽取结果；
[0009]基于相关性和第一标注信息进行标注传播处理，生成输入图像对应的与目标透镜元件的缺陷相关的第二标注信息；
[0010]基于特征抽取结果和第二标注信息，训练分割网络模型，得到训练好的分割网络模型；
[0011]基于训练好的分割网络模型对透镜元件的缺陷进行分割处理，以将分割结果用于透镜元件缺陷的判定。
[0012]根据本申请实施例的另一个方面，提供了一种图像处理装置，该装置包括：
[0013]获取模块，用于获取目标透镜元件对应的输入图像，输入图像包括与目标透镜元件的缺陷相关的至少一个第一标注信息；
[0014]处理模块，用于通过第一神经网络模型，对输入图像进行特征抽取，并构建输入图像的至少两个图像块之间的相关性，得到包含相关性的特征抽取结果；
[0015]生成模块，用于基于相关性和第一标注信息进行标注传播处理，生成输入图像对
应的与目标透镜元件的缺陷相关的第二标注信息；
[0016]训练模块，用于基于特征抽取结果和第二标注信息，训练分割网络模型，得到训练好的分割网络模型；
[0017]分割模块，用于基于训练好的分割网络模型对透镜元件的缺陷进行分割处理，以将分割结果用于透镜元件缺陷的判定
[0018]根据本申请实施例的又一个方面，提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序以实现本申请实施例提供的图像处理方法。
[0019]根据本申请实施例的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请实施例提供的图像处理方法。
[0020]根据本申请实施例的还一个方面，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本申请实施例提供的图像处理方法。
[0021]本申请实施例提供的图像处理方法、装置、电子设备、存储介质及程序产品，获取目标透镜元件对应的输入图像，输入图像包括与目标透镜元件的缺陷相关的至少一个第一标注信息；通过第一神经网络模型，对输入图像进行特征抽取，并构建输入图像的至少两个图像块之间的相关性，得到包含相关性的特征抽取结果；基于相关性和第一标注信息进行标注传播处理，生成输入图像对应的与目标透镜元件的缺陷相关的第二标注信息；基于特征抽取结果和第二标注信息，训练分割网络模型，基于训练好的分割网络模型对透镜元件的缺陷进行分割处理，以将分割结果用于透镜元件缺陷的判定，能够实现通过计算机视觉技术来自动化地进行透镜元件的缺陷检测，有效提升质量筛查的效率和准确率。
附图说明
[0022]为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
[0023]图1a为本申请实施例提供的镜头上的脏污缺陷的示例图；
[0024]图1b为本申请实施例提供的镜头缺陷标注工作的示例图；
[0025]图2为本申请实施例提供的一种图像处理方法的流程示意图；
[0026]图3为本申请实施例提供的一种标签传播方法的示意图；
[0027]图4为本申请实施例提供的一种透镜元件缺陷分割框架的示意图；
[0028]图5a为本申请实施例提供的一种标注信息的示意图；
[0029]图5b为本申请实施例提供的另一种标注信息的示意图；
[0030]图5c为本申请实施例提供的又一种标注信息的示意图；
[0031]图6为本申请实施例提供的一种镜头点位上不同区域的示意图；
[0032]图7为本申请实施例提供的一种镜头缺陷判定方法的示意图；
[0033]图8为本申请实施例提供的一种镜头缺陷检测方法的流程示意图；
[0034]图9为本申请实施例提供的一种图像处理装置的结构示意图；
[0035]图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0036]下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
[0037]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本
所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。
[0038]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0039]常见相机的图像采集过程中，外部光源通过镜头后，在CMOS(Complementary Metal...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取目标透镜元件对应的输入图像，所述输入图像包括与所述目标透镜元件的缺陷相关的至少一个第一标注信息；通过第一神经网络模型，对所述输入图像进行特征抽取，并构建所述输入图像的至少两个图像块之间的相关性，得到包含所述相关性的特征抽取结果；基于所述相关性和所述第一标注信息进行标注传播处理，生成所述输入图像对应的与所述目标透镜元件的缺陷相关的第二标注信息；基于所述特征抽取结果和所述第二标注信息，训练分割网络模型，得到训练好的分割网络模型；基于所述训练好的分割网络模型对透镜元件的缺陷进行分割处理，以将分割结果用于透镜元件缺陷的判定。2.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述相关性和所述第一标注信息进行标注传播处理，生成所述输入图像对应的与所述目标透镜元件的缺陷相关的第二标注信息，包括：基于所述第一神经网络模型对所述输入图像的处理过程，统计所述相关性，得到相关性统计结果；基于所述相关性统计结果和所述第一标注信息进行标注传播处理，生成所述输入图像对应的与所述目标透镜元件的缺陷相关的第二标注信息。3.根据权利要求2所述的图像处理方法，其特征在于，所述基于所述第一神经网络模型对所述输入图像的处理过程，统计所述相关性，得到相关性统计结果，包括：获取与所述图像块数量一致的二维直方图；基于所述第一神经网络模型对所述输入图像的处理过程，将相关性满足第一条件的每两个图像块统计到所述二维直方图的相应位置，得到相关性统计结果。4.根据权利要求3所述的图像处理方法，其特征在于，所述基于所述第一神经网络模型对所述输入图像的处理过程，将相关性满足第一条件的每两个图像块统计到所述二维直方图的相应位置，便可得到相关性统计结果，包括：所述第一神经网络模型的每一层对所述输入图像的处理过程被划分为至少两个子处理过程，基于每个所述子处理过程，将相关性满足第一条件的每两个图像块统计到与各子处理过程相对应的子二维直方图的相应位置；基于每层的所述子二维直方图中满足第二条件的数值，统计到所述二维直方图的相应位置，得到所述相关性统计结果。5.根据权利要求2所述的图像处理方法，其特征在于，基于所述相关性统计结果和所述第一标注信息进行标注传播处理，生成所述输入图像对应的与所述目标透镜元件的缺陷相关的第二标注信息，包括：将第一标注信息作为已标注信息，重复执行以下标注传播过程：保持所述已标注信息不变，并将所述已标注信息按所述相关性统计结果传播给相关图像块，其中，在标注传播过程中，每个当前图像块基于所述相关性统计结果，根据相关图像块的所述已标注信息来更新当前图像块的标注信息，将各个图像块更新后的标注信息作为新的已标注信息，执行下一次标注传播过程；
当标注传播过程收敛后，基于每个图像块最终更新的标注信息，得所述输入图像对应的与所述目标透镜元件的缺陷相关的第二标注信息。6.根据权利要求1
‑
5任一项所述的图像处理方法，其特征在于，所述对所述输入图像进行特征抽取，并构建所述输入图像的至少两个图像块之间的相关性，包括：针对所述输入图像的每个图像块，确定在特征层面与该图像块最接近的预定个数的邻居图像块组成的邻居集合，并构建该图像块与其邻居集合内每个邻居图像块之间的路径，得到建模图；将所述建模图进行图卷积操作，得到包含所述相关性的特征抽取结果。7.根据权利要求6所述的图像处理方法，其特征在于，...

【专利技术属性】
技术研发人员：王昌安，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：