一种基于光度立体视觉的多个磨粒三维形貌同步获取方法技术

一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，通过将铁谱技术与三维重构技术相结合，首先利用铁谱技术制作包含多个磨粒的谱片，然后针对铁谱显微镜拍摄图片存在畸变的状况，利用张正友标定法对其进行矫正。基于此方法结合所建立的光源系统，通过显微镜摄像机获取了不同光源磨粒图像，结合自适应阈值法与差分法实现了磨粒与背景的分离，之后，基于光度立体视觉，通过选择合适的反射模型计算磨粒表面法向量，进而构造深度值，重构了磨粒的三维形貌。这样，利用铁谱显微镜获取具有多个磨粒的谱片图像，不需要变换显微镜焦距，通过切换不同角度的光源就可以同步重构出多个磨粒的三维形貌,本专利有效地将铁谱技术与光度立体视觉相结合，解决了目前磨粒分析领域磨粒三维形貌特征缺乏的问题。

A synchronous acquisition method of multiple abrasive particles based on photometric stereo vision

A synchronization method for obtaining a plurality of abrasive particles topography based on photometric stereo, the ferrography technology and 3D reconstruction technology, first use of iron containing a plurality of abrasive particle spectra spectrum technique, then ferrographic microscope picture distortion, with Zhang's calibration method of correction the. This method combines the light source system based on the established through a microscope camera to acquire different light particle image, after the combination of adaptive threshold method and difference method to achieve particle separation, and background, photometric stereo based on particle surface calculation method of vector by selecting the appropriate reflection model, and construct a depth value, reconstruction the three-dimensional shape of abrasive grains. So, by using ferrographic microscope to obtain a plurality of abrasive particles with spectral image, do not need to change the focus of the microscope, through different light angle switching can be synchronized to reconstruct a plurality of abrasive particles the three-dimensional morphology of the patent effectively Ferrography and photometric stereo combination, the analysis of wear particle field particle morphology problem.

【技术实现步骤摘要】
一种基于光度立体视觉的多个磨粒三维形貌同步获取方法
本专利技术属于机器故障诊断领域的铁谱分析技术，特别涉及一种基于光度立体视觉的多个磨粒三维形貌同步获取方法。
技术介绍
广泛存在于摩擦副当中的磨损现象会直接导致能源和材料的消耗，影响设备运行的可靠性、安全性和可维护性。磨粒作为摩擦副接触表面的相互作用的直接产物，携带丰富的磨损状态信息，准确的磨粒特征识别对实现磨损状态实时监测具有重要的意义。磨粒的数量、大小、颜色和形貌等特征表征了摩擦学系统的磨损方式以及磨损部位，反映了设备的磨损状态。因此，磨粒分析(WDA)技术已经成为设备磨损程度判断及磨损机理分析的重要手段，为装备状态监测及维修维护决策提供有效依据。近年来，铁谱技术由于分析精度高、准确性好等特点，成为了摩擦学系统磨粒分析的主要方法。目前，铁谱技术已经建立了非常成熟的知识系统，已在工业领域如船舶、航空发动机、风力齿轮箱获得了广泛的应用。该方法利用高梯度磁场将机械摩擦副产生的磨损颗粒从润滑油液中分离出来沉积在玻片上，进而利用铁谱显微镜进行分析。通过图像处理可以同时对多个磨粒进行分析获取其形态、颜色等特征。但是该方法只能提供磨粒的二维平面图像，而不能获取磨粒的空间特征信息，导致其无法反映具有不规则性磨粒的真实形状。例如粘着磨损磨粒、层状磨损磨粒与严重滑动磨粒这三类磨粒代表了不同的磨损机理，但是它们具有相似的形状和边缘特征，但其三维表面形貌确大不相同，粘着磨损磨粒表面粗糙、严重拉毛、有擦痕，轮廓不规则；层状磨损磨粒厚度极小，表面有孔洞、折皱等缺陷；严重滑动磨粒表面带有明显平行滑痕或开裂迹象。铁谱技术由于其方法固有的缺陷，无法通过平面特征对其进行有效的分析，进而造成磨粒分析准确率低。磨粒属于不规则的立体状物体，其三维表面形貌是其固有的特征属性。普通的光学显微镜难以提供磨粒的表面形貌特征。随着电子显微技术的发展，使得磨粒的三维表面形貌获提取成为可能。当前已经有学者利用原子力显微镜(AFM)、激光共焦扫描显微镜(LSCM)、激光干涉量程仪(IM)以及立体电子显微镜(3-DSEM)等获得磨粒的三维表面形貌，然而这些设备不但操作复杂、成本较高，而且应用范围也存在一些问题，如原子力显微镜测量精度高，但是量程有限，对于工程应用最感兴趣的5μm以上的磨粒无能为力；激光共聚焦显微镜比较适合生物颗粒的三维形貌获取；激光干涉仪横向分辨率不高，深度方向也容易产生畸变。同时润滑油中存在着大量的磨损颗粒，这些方法仅针对单个磨粒进行分析，无法同时实现多个磨粒三维形貌的获取，这些因素限制了磨粒分析方法在机械设备运行状态监测邻域的推广应用。总体而言，目前磨粒分析手段在设备监测领域取得了一定的工程效果。但是由于其方法本身固有的缺陷，如：铁谱技术仅能提取二维特征无法提取磨粒三维形貌；三维扫描设备仅仅针对单个磨粒进行分析等，而无法给出润滑油中全面、准确的磨粒统计信息。
技术实现思路
为了克服上述现有技术的缺陷，本专利技术的目的在于提供一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，通过将铁谱技术与三维重构技术相结合，利用铁谱技术制作包含多个磨粒的谱片，然后通过显微镜摄像机获取不同光源磨粒图像，由于摄像机图像存在畸变，需要对图像进行矫正，使图像更加接近真实物体，之后进行磨粒分割，将磨粒与背景进行分离，最后通过光度立体视觉方法对磨粒表面重构，实现磨粒三维形貌的重构，进而为磨粒分析以及后续的重大装备健康监测和寿命预测提供参考依据。为实现上述目的，本专利技术采用如下技术方案：一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，包括以下步骤：步骤一、利用张正友标定法对铁谱显微镜摄像机存在的畸变进行矫正，得到矫正图像；步骤二、利用均匀分布的多个光源依次照射铁谱谱片，从而获取不同光源的磨粒图像；步骤三、光源方向标定，测量光源相对于磨粒的位置(X,Y,Z),并进行归一化来近似估计各个光源的光线入射方向，如公式(1)所示：公式(1)：其中，X,Y,Z分别表示为光源相对于磨粒在三个方向上的距离；步骤四、基于自适应阈值法，通过全光源图像计算mask图；步骤五、基于差分法，利用mask图对不同光源的磨粒图像进行处理，将重构物体与背景分离，公式(6)：公式(6)中Di(x,y)表示第i个光源差分之后的图像，fi(x,y)表示第i个光源的图像初始图像(x,y)处像素值，f0(x,y)为mask图(x,y)处像素值；步骤六、基于光度立体视觉对磨粒表面进行重构，具体步骤如下：S1，反射模型选择，选定物体的反射模型为Phong模型；S2，基于Phong模型，计算8张磨粒图像的亮度矩阵和相应的光源方向矩阵，进而采用最小二乘法原理计算，最后单位化得到法向量；S3，根据测量材质的法向信息，计算测量的梯度场信息，并将其作为输入，采用最小二乘的曲面重建方法计算测量材质的深度信息，完成磨粒三维形貌重构。所述的步骤一，具体步骤如下：S1，选取标准棋盘格，单元格尺寸：0.1mm*0.1mm，作为标定板，将其贴于平面上；S2，变化标定板的位置角度，倾角不超过5°，采集14张不同角度的标定板图像；S3，应用Opencv的摄像机标定函数，对摄像机进行标定，以获取摄像机的畸变系数，标定方法采用的是张正友平面标定法；S4，根据畸变系数，对所有图像进行矫正。所述的步骤S3中摄像机畸变系数的标定，具体包括以下步骤：(1)通过在VS2010中创建一个MFC项目，添加“标定图片输入”按钮，读入14张不同角度的标定板图像；(2)利用OpenCV的findChessboardCorners函数得到标定板所有图像上角点位置；(3)角点正确提取后，利用calibrateCamera函数，通过计算单应性矩阵，得到摄像机的内参数和外参数；(4)应用最小二乘法估算求出畸变系数，并输出矫正图像。所述的步骤二，具体步骤如下：S1，所测磨粒尺寸小于200μm，选定光源距离磨粒尺寸大于40mm，在显微镜物镜外侧放置光圈，光圈周向均匀分布八个LED灯，每一个LED灯都可以单独控制点亮和熄灭，所述光圈半径40mm，高度30mm；S2，八个光源依次打开照射磨粒，并利用显微镜的成像摄像机拍摄磨粒，得到一组在不同光源的磨粒图像；S3，八个光源全部打开拍摄磨粒，获取全光源磨粒图像，为计算mask图做准备。所述的步骤四，具体步骤如下：S1，将图像中的每个像素点(x,y)的RGB值按照公式(2)进行灰度化处理，得到灰度图像；公式(2)：f(x,y)＝0.299R(x,y)+0.587G(x,y)+0.114B(x,y)公式(2)中R(x,y)、G(x,y)、B(x,y)代表图像中坐标(x,y)处像素点的R、G、B分量值；S2，按照从上到下、从左到右的顺序依次遍历图像各个像素点，定义一个3×3的中值滤波器滑动窗口，读取窗口中的灰度值x1,x2,x3,…,x9，将这些灰度值从小到大进行排序xi1≤xi2≤xi3≤…≤xi9，然后将中值xi5赋给窗口中心位置的像素，完成磨粒图像的滤波处理；S3，迭代阈值分割具体步骤如下：(1)求出图像的最大灰度值和最小灰度值，分别记为Max和Min，按照公式(3)求出初始阈值T0；公式(3)：T0＝(Max+Min)/2(2)根据当前阈值T0将图像分割为前景和背景，分别求本文档来自技高网...

【技术保护点】
一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，利用铁谱显微镜获取具有多个磨粒的谱片图像，不需要变换显微镜焦距，通过切换不同角度的光源就可以同步重构出磨粒的三维形貌，其特征在于：步骤一、利用张正友标定法对铁谱显微镜摄像机存在的畸变进行矫正，得到矫正图像；步骤二、利用均匀分布的多个光源依次照射铁谱谱片，从而获取不同光源的磨粒图像；步骤三、光源方向标定，测量光源相对于磨粒的位置(X,Y,Z),并进行归一化来近似估计各个光源的光线入射方向，其中X,Y,Z分别表示为光源相对于磨粒在三个方向上的距离；步骤四、基于自适应阈值法，通过全光源图像计算mask图；步骤五、基于差分法，利用mask图对不同光源的磨粒图像进行处理，将重构物体与背景分离，步骤六、基于光度立体视觉对磨粒形貌进行重构；S1，反射模型选择，选定物体的反射模型为Phong模型；S2，基于Phong模型，计算8张磨粒图像的亮度矩阵和相应的光源方向矩阵，进而采用最小二乘法原理计算，最后单位化得到法向量；S3，根据测量材质的法向信息，计算测量的梯度场信息，并将其作为输入，采用最小二乘的曲面重建方法计算测量材质的深度信息，完成磨粒三维形貌重构。...

【技术特征摘要】
1.一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，利用铁谱显微镜获取具有多个磨粒的谱片图像，不需要变换显微镜焦距，通过切换不同角度的光源就可以同步重构出磨粒的三维形貌，其特征在于：步骤一、利用张正友标定法对铁谱显微镜摄像机存在的畸变进行矫正，得到矫正图像；步骤二、利用均匀分布的多个光源依次照射铁谱谱片，从而获取不同光源的磨粒图像；步骤三、光源方向标定，测量光源相对于磨粒的位置(X,Y,Z),并进行归一化来近似估计各个光源的光线入射方向，其中X,Y,Z分别表示为光源相对于磨粒在三个方向上的距离；步骤四、基于自适应阈值法，通过全光源图像计算mask图；步骤五、基于差分法，利用mask图对不同光源的磨粒图像进行处理，将重构物体与背景分离，步骤六、基于光度立体视觉对磨粒形貌进行重构；S1，反射模型选择，选定物体的反射模型为Phong模型；S2，基于Phong模型，计算8张磨粒图像的亮度矩阵和相应的光源方向矩阵，进而采用最小二乘法原理计算，最后单位化得到法向量；S3，根据测量材质的法向信息，计算测量的梯度场信息，并将其作为输入，采用最小二乘的曲面重建方法计算测量材质的深度信息，完成磨粒三维形貌重构。2.根据权利要求1所述的一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，其特征在于，所述的步骤一，具体步骤如下：S1，选取标准棋盘格，单元格尺寸：0.1mm*0.1mm，作为标定板，将其贴于平面上；S2，变化标定板的位置角度，倾角不超过5°，采集14张不同角度的标定板图像；S3，应用Opencv的摄像机标定函数，对摄像机进行标定，以获取摄像机的畸变系数，标定方法采用的是张正友平面标定法；S4，根据畸变系数，对所有图像进行矫正。3.根据权利要求2所述的一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，其特征在于，所述的步骤S3中摄像机畸变系数的标定，具体包括以下步骤：(1)通过在VS2010中创建一个MFC项目，添加“标定图片输入”按钮，读入14张不同角度的标定板图像；(2)利用OpenCV的findChessboardCorners函数得到标定板所有图像上角点位置；(3)角点正确提取后，利用calibrateCamera函数，通过计算单应性矩阵，得到...

【专利技术属性】
技术研发人员：武通海，王硕，霍彦文，杨羚烽，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61