一种基于图像融合的物体表面检测方法及系统、存储介质技术方案

一种基于图像融合的物体表面检测方法及系统、存储介质，其中物体表面检测方法包括：获取待检测物体在不同方向的平面光照射下摄取的多幅投影图像，根据各幅投影图像的图像特征建立任意图像部位的映射特征矩阵，通过奇异值分解处理映射特征矩阵以提取得到主要特征矩阵，根据预设的表面可积性条件为主要特征矩阵建立约束条件，通过变换处理获得待检测物体的表面特征信息。由于对多幅投影图像进行图像融合处理来计算待检测物体的表面特征信息，使得多幅投影图像经过图像融合处理之后能够清楚、准确的获得待检测物体的表面特征信息，对待检测物体的形状特征、纹理特征或者缺陷特征进行有效的表征。

【技术实现步骤摘要】
一种基于图像融合的物体表面检测方法及系统、存储介质
本专利技术涉及图像处理
，具体涉及一种基于图像融合的表面检测方法及系统、存储介质。
技术介绍
在工业检测中，产品的质量控制是一项非常重要的工作，由于生产线的高速运行以及流水线的自动化作业需求，依靠人力实现产品外观检测、纹理识别、缺陷检查的方法已被逐渐摒弃，取而代之的是二维图像的视觉检测方法，由于二维图像只有平面信息，所以对于物体的位置、深度是十分敏感的，当从多个角度对同一物体拍摄时，通常会得到不同的拍摄结果，增大检测的难度。非接触式的工业检测方法具有不损坏被检测物体的优势，其相关技术得以迅速发展。通常，非接触式方法根据是否提供主动光源而分为主动视觉方法和被动视觉方法，其中主动视觉方法具备重建精度高、重建细节丰富的特点，被广泛用于工业产品缺陷检测、文物数字化、人脸三维建模等重建要求高的场景；但是主动视觉方法存在对环境光源要求高、处理过程复杂、应用场景大小受限等缺点。被动视觉方法由于其成本低廉、可靠灵活、适应性强等特点而被用于大规模场景重建、机器人定位导航等领域；但是被动视觉方法的主要缺陷是图像特征的提取与匹配严重依赖于图像特征，对于纹理单一、重复、缺失的情况重建效果不佳。目前，在工业材料、印刷品等行业中，为保证产品质量的同时高速剔除废品，往往借助主动视觉检测技术对工件表面或者纸张表面进行检测，查找诸如色差、漏印、油墨扩散、划痕等异常纹理，查找诸如斑点、凹坑、缺损、凹凸字符、污垢等表面缺陷。特别地，进行异常纹理和表面缺陷检测的主要方法是图像模型对比，通过预先选取的标准图像特征域建立图像模型，让当前待检测图像与这些图像模型进行逐像素对比并判断其差异值，最后根据差异值判断待检测图像中的缺陷特征。也有采用图像滤波器的表面缺陷检测方法，对待检测图像进行去噪处理，抑制目标图像的噪声并尽量保留图像细节特征，然后抽取图像细节中的异常部位作为异常纹理或者缺陷特征。但是，由于光源衰减、光源移位、镜头污染、曝光参数不一致等客观因素，经常产生图像模型不精确和图像对比度差等问题，而且，使用诸如滤波、灰度去噪、二值化、形态学运算等缺陷筛选方法处理图像时对图像的质量有一定的要求，不适宜从低对比度的图像中筛选出缺陷特征。因此，现有的技术无法对低比度的褶皱、斑痕、色差等进行有效地检测，从而在工业产品检测时存在漏检、误检等问题。
技术实现思路
本专利技术主要解决的技术问题是如何克服现有主动视觉检测技术的不足，有效提高二维照明检测的准确度。为解决上述技术问题，本申请提供一种基于图像融合的物体表面检测方法及系统、存储介质。根据第一方面，一种实施例中提供一种基于图像融合的物体表面检测方法，包括：获取待检测物体在不同方向的平面光照射下摄取的多幅投影图像；根据各幅所述投影图像的图像特征建立任意图像部位的映射特征矩阵；通过奇异值分解处理所述映射特征矩阵，提取得到主要特征矩阵；根据预设的表面可积性条件为所述主要特征矩阵建立约束条件，通过变换处理获得所述待检测物体的表面特征信息。所述根据各幅所述投影图像的图像特征建立任意图像部位的映射特征矩阵，包括：获取各幅所述投影图像各自对应的图像特征，所述图像特征包括所取图像的灰度信息；根据各幅所述投影图像各自对应的图像特征构建任意图像部位的光照模型，所述任意图像部位包括所述投影图像上任意的一个或多个像素点；根据所述任意图像部位的光照模型建立对应的映射特征矩阵，所述映射特征矩阵用公式表示为I1＝SL；其中，S为所述待检测物体的表面场矩阵，L为不同方向的平面光的照射矩阵。所述通过奇异值分解处理所述映射特征矩阵，提取得到主要特征矩阵，包括：对所述映射特征矩阵进行奇异值分解，得到分解特征矩阵且表示为I2＝UDVT；其中，U为p×n阶的系数，D为n×n阶的系数，V为n×n阶的系数，p为每幅所述投影图像中的像素点数目，n为各个所述投影图像的数目，上标T表示转置运算；对所述分解特征矩阵进行特征的近似优化，得到优化特征矩阵且表示为I3＝U′D′V′T；其中，U′、D′、V′为近似优化的系数，与系数U、D、V之间的关系表示为对所述优化特征矩阵进行特征降维，处理得到主要特征矩阵且表示为I4＝S′L′；其中，S′为所述待检测物体的伪表面场矩阵且S′＝U′p×3(±[D′3×3]1/2)，L′为不同方向的平面光的伪照射矩阵且L′＝(±[D′3×3]1/2)V′3×n，±表示左右手坐标系下的参数分布。所述根据预设的表面可积性条件为所述主要特征矩阵建立约束条件，通过变换处理获得所述待检测物体的表面特征信息，包括：根据预设的表面可积性条件生成变换矩阵以建立所述主要特征矩阵的约束条件；在所述约束条件下对所述主要特征矩阵进行变换处理以获得所述任意图像部位对应的物体表面特征。所述根据预设的表面可积性条件生成变换矩阵以建立所述主要特征矩阵的约束条件，包括：根据所述待检测物体的表面特征可积特性引入连续性限制条件，所述连续性限制条件用公式表示为其中，N表示表面特征的法向量，N1、N2、N3分别表示N在x、y、z坐标方向上的分量，N1(x,y)/N3(x,y)＝-zx(x,y)，N2(x,y)/N3(x,y)＝-zy(x,y)，(x,y)为所述投影图像中任意像素点的坐标值，通过(x,y,z(x,y))表示所述待检测物体真实的表面特征；利用所述连续性限制条件获得所述待检测物体在图像中的表面特征变换到真实场景中的表面特征时所需的变换矩阵，所述变换矩阵用公式表示为其中，μ、v、λ均为矩阵参数；根据所述变换矩阵建立所述主要特征矩阵的约束条件，所述约束条件表示为其中，M＝S′P且M为p×3维的矩阵，p′表示所述投影图像中任意像素点的坐标索引。所述在所述约束条件下对所述主要特征矩阵进行变换处理以获得所述任意图像部位对应的物体表面特征，包括：在所述约束条件下利用所述变换矩阵对所述主要特征矩阵进行变换，得到所述映射特征矩阵的参数信息，所述参数信息表示为S＝S′P，L＝P-1L′；根据所述参数信息获取所述待检测物体的表面法向量，所述表面法向量用公式表示为N(x,y)＝[nx,ny,nz]T＝[Sx(p′),Sy(p′),Sz(p′)]T；根据所述待检测物体真实的表面特征对沿x方向的切向量和沿y方向的切向量进行差分近似处理，得到根据切向量切向量分别与法向量之间的垂直特性建立约束关系且表示表示为生成得到所述待检测物体的表面深度方程且表示为根据所述表面深度方程计算得到任意像素点(x,y)处对应的所述待检测物体的表面深度信息；根据所述待检测物体的表面法向量和表面深度信息获得所述任意图像部位对应的表面特征信息，所述表面特征信息包括形状特征、纹理特征或缺陷特征的信息中的一者或多者。根据第二方面，一种实施例中提供一种照明检测系统，包括：光源组件，包括至少三个照明模块，各个所述照明模块用于在不同方向分别向待检测本文档来自技高网...

【技术保护点】
1.一种基于图像融合的物体表面检测方法，其特征在于，包括：/n获取待检测物体在不同方向的平面光照射下摄取的多幅投影图像；/n根据各幅所述投影图像的图像特征建立任意图像部位的映射特征矩阵；/n通过奇异值分解处理所述映射特征矩阵，提取得到主要特征矩阵；/n根据预设的表面可积性条件为所述主要特征矩阵建立约束条件，通过变换处理获得所述待检测物体的表面特征信息。/n

【技术特征摘要】
1.一种基于图像融合的物体表面检测方法，其特征在于，包括：
获取待检测物体在不同方向的平面光照射下摄取的多幅投影图像；
根据各幅所述投影图像的图像特征建立任意图像部位的映射特征矩阵；
通过奇异值分解处理所述映射特征矩阵，提取得到主要特征矩阵；
根据预设的表面可积性条件为所述主要特征矩阵建立约束条件，通过变换处理获得所述待检测物体的表面特征信息。


2.如权利要求1所述的物体表面检测方法，其特征在于，所述根据各幅所述投影图像的图像特征建立任意图像部位的映射特征矩阵，包括：
获取各幅所述投影图像各自对应的图像特征，所述图像特征包括所取图像的灰度信息；
根据各幅所述投影图像各自对应的图像特征构建任意图像部位的光照模型，所述任意图像部位包括所述投影图像上任意的一个或多个像素点；
根据所述任意图像部位的光照模型建立对应的映射特征矩阵，所述映射特征矩阵用公式表示为
I1＝SL；
其中，S为所述待检测物体的表面场矩阵，L为不同方向的平面光的照射矩阵。


3.如权利要求2所述的物体表面检测方法，其特征在于，所述通过奇异值分解处理所述映射特征矩阵，提取得到主要特征矩阵，包括：
对所述映射特征矩阵进行奇异值分解，得到分解特征矩阵且表示为
I2＝UDVT；
其中，U为p×n阶的系数，D为n×n阶的系数，V为n×n阶的系数，p为每幅所述投影图像中的像素点数目，n为各个所述投影图像的数目，上标T表示转置运算；
对所述分解特征矩阵进行特征的近似优化，得到优化特征矩阵且表示为
I3＝U′D′V′T；
其中，U′、D′、V′为近似优化的系数，与系数U、D、V之间的关系表示为
U＝[U′p×3Up×(n-3)]，
对所述优化特征矩阵进行特征降维，处理得到主要特征矩阵且表示为
I4＝S′L′；
其中，S′为所述待检测物体的伪表面场矩阵且S′＝U′p×3(±[D′3×3]1/2)，L′为不同方向的平面光的伪照射矩阵且L′＝(±[D3′×3]1/2)V3′×n，±表示左右手坐标系下的参数分布。


4.如权利要求3所述的物体表面检测方法，其特征在于，所述根据预设的表面可积性条件为所述主要特征矩阵建立约束条件，通过变换处理获得所述待检测物体的表面特征信息，包括：
根据预设的表面可积性条件生成变换矩阵以建立所述主要特征矩阵的约束条件；
在所述约束条件下对所述主要特征矩阵进行变换处理以获得所述任意图像部位对应的物体表面特征。


5.如权利要求4所述的物体表面检测方法，其特征在于，所述根据预设的表面可积性条件生成变换矩阵以建立所述主要特征矩阵的约束条件，包括：
根据所述待检测物体的表面特征可积特性引入连续性限制条件，所述连续性限制条件用公式表示为



其中，N表示表面特征的法向量，N1、N2、N3分别表示N在x、y、z坐标方向上的分量，N1(x,y)/N3(x,y)＝-zx(x,y)，N2(x,y)/N3(x,y)＝-zy(x,y)，(x,y)为所述投影图像中任意像...

【专利技术属性】
技术研发人员：杨洋，
申请(专利权)人：深圳市华汉伟业科技有限公司，
类型：发明
国别省市：广东;44