【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及一种基于多元图像信息融合的加工曲面缺陷检测方法与装置。
技术介绍
1、复杂曲面的精确评估是高精密制造中必不可缺的环节，关系到最终的加工质量，其中复杂曲面上的缺陷检测是一个非常重要的任务，应用场景众多，比如金属加工、半导体加工、集成电路以及航空航天等行业，因此具有十分重要的应用前景。
2、然而，在实际检测中，由于缺陷种类繁多，位置不一，缺陷所在表面的物体表面形状和光照条件多样，因此具有较大的检测难度。常规的表面缺陷检测方案一般采用可见光图像或者可见光图像和法向量图，并通过深度神经网络进行缺陷检测。但是不同的缺陷在可见光下成像效果存在差异，有些非常显著有些不可见。
3、另外，常规的检测方法非常依赖训练数据，但是实际上缺陷数据只在工业数据集中占据一小部分，大部分是正常数据，因此需要人工合成一些缺陷数据，但是缺陷在图像空间中没有太多共性，数据合成难度系数大，而且与真实缺陷差距较大，因此目前的检测效果受这些因素影响较大。
4、针对上述问题，公开号为cn111344553a的专利文献公开了一种曲面物体的缺陷检测方法及检测系统，包括：s1)控制光源(11)生成多束相干激光；s2)控制多束相干激光从多个照射角度对曲面物体(4)的检测区域进行照明；s3)通过光电传感器(2)接收曲面物体(4)反射或散射的相干激光信号并生成散斑图像(5)；以及s4)根据散斑图像(5)判断曲面物体(4)是否存在缺陷及缺陷的类型。但是该专利技术仅通过相干激光对曲面缺陷进行检测，而各种不同的缺陷对相干激光
5、公开号为cn106127780a的专利文献公开了一种曲面表面缺陷自动检测方法及其装置，包括：(1)训练阶段：采集样本图像，构建训练集，对训练集中的图像进行人工缺陷识别，标注出所有缺陷出现的区域；针对训练集中的每一幅图像执行缺陷预定位步骤，得到所有缺陷可能出现的区域r；将r与人工标注出的所有缺陷出现的区域进行比对，根据二者的重合度划分负样本和正样本；根据正样本和负样本进行深度神经网络模型的离线训练，输出为缺陷区域的类别与具体坐标；(2)在线检测阶段：采集当前待检测曲面表面图像，执行缺陷预定位步骤，得到集合r，将集合r输入网络模型，得到缺陷区域的类别与具体坐标。但是该专利技术在训练阶段需要大量的缺陷训练样本，以保证最终的检测效果，然而实际上，曲面缺陷样本较少，难以保证足够量的训练样本，从而无法保证最终的检测精度。
技术实现思路
1、本专利技术的目的是提供一种基于多元图像信息融合的加工曲面缺陷检测方法与装置，通过构建一个多光源缺陷检测装置，获取不同光照角度下的可见光图像，然后通过光度立体视觉模型和深度估计模型间接获得法向量信息和深度信息，并进行多元图像信息融合，输入到异常鉴别器和分类网络中进行高精度的曲面缺陷定位及分类任务。
2、为实现上述专利技术目的，本专利技术提供的技术方案如下：
3、第一方面，本专利技术实施例提供的一种基于多元图像信息融合的加工曲面缺陷检测方法，包括以下步骤：
4、步骤1：构建多光源缺陷采集装置，获取加工曲面在不同光源角度下的待分类图，将待分类图、或待分类图及其对应的对象掩码图像输入光度立体视觉模型，得到表面法向量图，将待分类图和表面法向量图输入深度估计模型，得到深度图；
5、步骤2：将待分类图、表面法向量图和深度图输入预训练的特征提取器，生成原始域特征，将原始域特征进行通道级联后输入特征适配器，得到目标域特征；
6、步骤3：通过异常特征生成器生成缺陷特征，分别与目标域特征相加，得到局部异常特征，将目标域特征作为正样本，局部异常特征作为负样本，完成对异常鉴别器的训练，采用训练好的异常鉴别器，区分目标域特征中的异常特征和正常特征，并定位异常特征；
7、步骤4：对定位到的异常特征按照最小包围框进行裁剪处理，得到裁剪特征，将所述裁剪特征输入分类网络进行细粒度缺陷分类，得到加工曲面的缺陷种类。
8、本专利技术设计了一种多光源缺陷采集装置，对待检测曲面进行不同光源角度的待分类图像采集，进一步的，根据法向量可以弥补部分缺陷受光照的影响，而深度信息可以进一步弥补图像中缺陷的局部深度变化，本专利技术提出一种光度立体视觉装置，用于获取待分类图对应的表面法向量图，本专利技术还采用深度估计模型，根据待分类图以及表面法向量图得到深度图。通过待分类图、表面法向量图和深度图的多元图像信息融合，弥补现有技术中的不足，提升缺陷检测精度。
9、本专利技术考虑到现有技术中曲面缺陷检测训练数据的不足，提出基于噪声生成器的异常特征生成器，通过将目标域特征叠加噪声模拟缺陷样本，并作为负样本训练异常鉴别器本专利技术提出的异常鉴别器，解决了曲面缺陷检测领域中缺陷样本不足的问题。
10、对于曲面缺陷检测，本专利技术提出一种两阶段检测思路，先定位再分类。本专利技术提出的异常鉴别器，能够对目标域特征中的异常特征和正常特征进行区分，并定位异常特征；对于定位到的异常特征，本专利技术进一步采用残差分类网络进行缺陷类别分类，得到待检测曲面上的缺陷种类。
11、进一步的，步骤1中，所述的多光源缺陷采集装置，包括：
12、一个半球罩；
13、一个设置在半球罩上正中心且垂直朝下的相机；
14、若干个led光源，其中一个设置在相机附近，其余按照斐波那契球采样方法在半球罩上进行位置选择并布局安装，实际采集时，每次只允许一个led光源发亮，每个led光源对应一个采样点；
15、半球罩面上的经纬度坐标，用公式表示为：
16、
17、loni＝2πiφ-1
18、其中，lati表示第i个采样点对应的纬度，loni表示第i个采样点对应的经度，m用于控制采样点的密度，i∈[-m,m]表示，φ＝1.618是黄金分割比例，用于保证采样点位置的均匀性，对一些距离较近的位置进行去除；
19、所述半球罩、相机、若干个led光源组成多光源缺陷采集装置，多光源缺陷采集装置安放在三轴坐标机上，随移动轴在空间移动。
20、进一步的，步骤1中，所述的将待分类图、或待分类图及其对应的对象掩码图像输入光度立体视觉模型，得到表面法向量图，包括：
21、将待分类图或待分类图及其对应的对象掩码图像输入光度立体视觉模型中，h、w和c分别表示图像的高度、宽度和通道数，表示实数集；
22、光度立体视觉模型依次包括预处理模块、尺度不变的空间-光照特征编码器、像素采样的transformer非局部交互模块和法向量回归模块；
23、其中，预处理模块，用于对待分类图或待分类图及其对应的对象掩码图像进行裁剪和归一化处理，裁剪掉待分类图中的一些背景信息，得到图像尺寸为32的倍数的剪裁图像；
24、尺度不变的空间-光照特征编码器，用于从每一个光源角度下的剪裁图像中提取对应的全局光照特征图；
25、像素采样的tra本文档来自技高网...
【技术保护点】
1.一种基于多元图像信息融合的加工曲面缺陷检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多元图像信息融合的加工曲面缺陷检测方法，其特征在于，步骤1中，所述的多光源缺陷采集装置，包括：
3.根据权利要求1所述的基于多元图像信息融合的加工曲面缺陷检测方法，其特征在于，步骤1中，所述的将待分类图、或待分类图及其对应的对象掩码图像输入光度立体视觉模型，得到表面法向量图，包括：
4.根据权利要求1所述的基于多元图像信息融合的加工曲面缺陷检测方法，其特征在于，步骤1中，所述的将待分类图和表面法向量图输入深度估计模型，得到深度图，包括：
5.根据权利要求1所述的基于多元图像信息融合的加工曲面缺陷检测方法，其特征在于，步骤2中，所述的将待分类图、表面法向量图和深度图输入预训练的特征提取器，生成原始域特征，包括：
6.根据权利要求5所述的基于多元图像信息融合的加工曲面缺陷检测方法，其特征在于，步骤2中，所述的将原始域特征进行通道级联后输入特征适配器，得到目标域特征，包括：
7.根据权利要求6所述的基于多元图
8.根据权利要求2或7所述的基于多元图像信息融合的加工曲面缺陷检测方法，其特征在于，步骤3中，所述的将目标域特征作为正样本，局部异常特征作为负样本，完成对异常鉴别器的训练，包括：
9.根据权利要求1所述的基于多元图像信息融合的加工曲面缺陷检测方法，其特征在于，步骤4具体为：
10.一种基于多元图像信息融合的加工曲面缺陷检测装置，其特征在于，包括多元图像信息获取模块、局部特征提取及特征域转换模块、异常特征定位模块、缺陷细粒度分类模块；
...【技术特征摘要】
1.一种基于多元图像信息融合的加工曲面缺陷检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多元图像信息融合的加工曲面缺陷检测方法，其特征在于，步骤1中，所述的多光源缺陷采集装置，包括：
3.根据权利要求1所述的基于多元图像信息融合的加工曲面缺陷检测方法，其特征在于，步骤1中，所述的将待分类图、或待分类图及其对应的对象掩码图像输入光度立体视觉模型，得到表面法向量图，包括：
4.根据权利要求1所述的基于多元图像信息融合的加工曲面缺陷检测方法，其特征在于，步骤1中，所述的将待分类图和表面法向量图输入深度估计模型，得到深度图，包括：
5.根据权利要求1所述的基于多元图像信息融合的加工曲面缺陷检测方法，其特征在于，步骤2中，所述的将待分类图、表面法向量图和深度图输入预训练的特征提取器，生成原始域特征，包括：
6.根据权利要求...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。