本发明专利技术涉及一种多视角大深度显微立体视觉特征融合测量方法，该方法使用复合式体视显微镜视觉系统，以“桶式”节点结构采集原始立体图像对，通过同一深度面不同节点位置处图像的配准、条纹配准、不同深度面原始合成图像序列的融合、原始图像局部匹配，提供准确的匹配视差数据，能够重构高精度的三维图形。该方法能够解决显微立体测量中的遮挡和大尺度微观对象精密视觉测量问题，从本质上克服现有体视显微镜视觉测量方法存在的技术瓶颈。
【技术实现步骤摘要】
本专利技术涉及一种，该方法使用复合式体视显微镜显微立体视觉测量系统采集多维空间立体图像对，系统包括辅助条纹投影系统、三维操作台、旋转台、横向位移台、体视显微镜和左、右相机(采用CCD相机)，特别是涉及采用投影条纹图像序列与多视角多深度面立体图像序列的配准、融合，以条纹作为辅助边界条件确定原始图像局部匹配，输出条纹边缘像素视差和局部原始图像像素视差，实现高精度、无遮挡、大尺度的显微立体测量。
技术介绍
体视显微镜具有两套光路，呈一定夹角，可以与两个相机组合后构成显微立体视觉系统，通过立体图像对的匹配反求微观对象的的三维立体结构，在计算机中输出立体图形，可用于微观对象的立体结构测量，如长度、宽度、高度、表面粗糙度等等。目前，已有的体视显微镜视觉测量系统主要通过立体图像对的匹配来实现，采用灰度匹配法、相关匹配法、模板匹配法等建立原始图像的相似性评价，对其具有完全的依赖性。现有测量方法最大的问题来自立体匹配算法本身具有的不足，微观对象类型多种多样，表现在透明度、颜色、反光度、大小、形状等均存在差异，反应在图像中的目标对象也存在差异性。现有匹配方法提取的信息仅仅依赖原始被测目标，难以克服图像信号广义的差异性和随机性，匹配结果中总出现大量的错匹配和误匹配数据，无法保证匹配的精度，也导致重构点云中存在大量的奇异点。因此，现有的基于原始图像匹配的体视显微镜视觉测量技术仍然存在难以克服的技术瓶颈，其技术方案更无法从本质上解决测量中出现的局部遮挡和大深度微观对象的测量问题，在技术应用上难以推广。本专利技术对现有的体视显微镜视觉系统做了改进，增加了辅助条纹投影系统，配合三维操作台、旋转台、横向位移台以“桶形”方式采集空间位置的原始立体图像对，从多个视点、多个深度面采集图像，构成空间图像序列，包含了空间的多方位多深度信息，实现了带有辅助条纹投影系统、三维操作台、旋转台和横向位移台的复合式体视显微镜显微立体视觉测量系统，以复合式视觉系统为基础，在测量方法上进行了创新。投影条纹作为人为增加的图像特征参与平面多节点图像的配准和融合，获取多视点多深度面的图像清晰度信息，通过多维图像融合解决测量中的遮挡、大深度测量问题。同时，建立左右条纹图像的配准关系，条纹是非常明显的线性特征元素，现有图像处理算法能够精确计算条纹的边缘像素视差，通过在图像中增加条纹，能够从本质上解决现有的完全依赖匹配的测量系统中的错匹配和误匹配，如果条纹间隔密集，直接通过条纹图像处理即可给出精确的视差图。以条纹边缘作为边界条件，条纹边缘像素视差作为约束条件，建立局部小区域内的原始目标匹配关系，把立体匹配的区域加以限制，有效抑制错匹配和误匹配的出现，原始目标匹配结果作为辅助因素参与数据重构，而条纹边缘像素视差成为了主体，完全不同于现有的完全依赖匹配的解决方案，能够从本质上解决现有体视显微镜视觉系统测量方法存在的不足。
技术实现思路
针对现有体视显微镜立体视觉测量法存在的问题，本专利技术推出了增加辅助条纹投影系统、三维操作台、旋转台和横向位移台的复合式体视显微镜显微立体视觉测量系统，使用该系统以“桶形”节点结构采集原始立体图像对，通过同一深度面不同节点位置处的原始图像序列的配准，输出该深度面合成后的原始合成图像，通过不同深度面原始合成图像序列的融合，输出融合后的原始融合图像，使用该系统采集条纹图像，以条纹边缘像素视差为主体，条纹边缘界定的局部限制区域内原始图像匹配结果为辅助，给出条纹复合的视差计算结果，其目的是解决现有体视显微镜立体视觉测量方法完全依赖原始图像匹配而导致的大量错匹配和误匹配现象，提高匹配精度，更进一步解决该测量方式中存在的遮挡和大深度测量问题，通过条纹投影实现高精度匹配数据的输出。本专利技术所涉及的，是由复合式体视显微镜显微立体视觉测量系统，以“桶形”节点结构采集原始立体图像对，在计算机中对“桶形”节点图像进行处理，对同一深度面不同节点位置处的原始图像序列进行配准，生成该深度面合成后的原始合成图像，实现条纹参与的不同深度面图像的匹配与融合，输出条纹边缘视差和局部限制区域内的原始图像视差，通过视觉反演计算空间坐标，生成三维立体图形、输出三维立体信息。所述的包括以下步骤:1、“桶形”节点结构原始图像采集及条纹图像采集复合式体视显微镜显微立体视觉测量系统的主体为体视显微镜5，左相机6和右相机7分别固定于体视显微镜5的左相机固定架16与右相机固定架17上面,显微物镜18固定在体视显微镜5的下端，环形光源15固定在显微物镜18的下端。辅助条纹投影系统I (COHERENT公司生产)产生投影条纹，固定在条纹投影系统光源支架2上，被测物体8置于旋转台9上面，旋转台9安放在横向位移台10上，条纹投影系统光源支架2和横向位移台10安放在载物台3上。载物台3与三维操作台4固定，使载物台3与三维操作台4始终位于同一平面内。移动台控制器14与三维操作台4、旋转台9、横向位移台10连接并控制三维操作台4、旋转台9、横向位移台10动作。左相机6和右相机7通过USB 口与计算机11连接，移动台控制器14通过串口与计算机11通信。计算机11采集左相机6和右相机7中的立体图像对并进行处理，通过串行口控制移动台控制器14输出脉冲信号，控制三维操作台4沿深度面纵向图像采集方向12移动，控制旋转台9沿深度面平面图像采集方向13旋转，控制横向位移台10沿与条纹垂直方向移动，在深度面纵向图像采集方向12和深度面平面图像采集方向13上产生“桶形”节点。在复合式体视显微镜显微立体视觉测量系统中，通过控制三维操作台4和旋转台9实现被测物沿深度面纵向图像采集方向12和深度面平面图像采集方向13移动，以“桶形”节点结构采集原始立体图像对。首先通过计算机11操作三维操作台4和旋转台9，将被测物体8移动到体视显微镜5的第I深度面第I节点位置K11,采集原始立体图像对，使用体视显微镜5的聚焦面作为第I深度面Plane_l，第一深度面第一节点位置K11任意确定，然后控制旋转台9沿深度面平面图像采集方向13等角度旋转，分别在节点位置K12、K13至Kin处等待一段时间，采集原始立体图像对，节点间的角度α =360° /N。在第I深度面Plane_l采集完所有节点的原始立体图像对后，调整旋转台9沿深度面平面图像采集方向13旋转回第一深度面第一节点K11位置，然后调整三维操作台4沿深度面纵向图像采集方向12向上移动，到达第2深度面Plane_2，控制旋转台9沿深度面平面图像采集方向13等角度旋转，分别在K21、K22、K23至K2n处采集原始立体图像对；依次类推，最后调整三维操作台4沿深度面纵向图像采集方向12向上移动，到达第M深度面Plane_M，控制旋转台9沿深度面平面图像采集方向13等角度旋转，分别在节点位置KM1、KM2、KM3至Kmn处等待一段时间，采集原始立体图像对，完成整个“桶形”图像采集过程。每个深度面对应的第N个位置的节点，即K1N、K2n…Kmn节点在深度面纵向图像采集方向上处于同一条直线；在每层深度面的第一节点位置采集的原始立体图像对作为该深度面的左原始参考图像和右原始参考图像；同一深度面不同节点位置处的左原始图像集合称为该深度面的左原始图像序列，同一深度面不同节点位置处的右原始图像集合称为该深度面的右本文档来自技高网...
【技术保护点】
一种多视角大深度显微立体视觉特征融合测量方法，其特征在于，包括以下步骤：使用复合式体视显微镜显微立体视觉测量系统以“桶形”方式采集原始立体图像对，复合式体视显微镜显微立体视觉测量系统包括辅助条纹投影系统（1）、三维操作台（4）、体视显微镜（5）、左相机（6）和右相机（7），主体为体视显微镜（5），左相机（6）和右相机（7）分别固定于体视显微镜（5）的左相机固定架（16）与右相机固定架?(17)上面，显微物镜（18）固定在体视显微镜（5）的下端，环形光源（15）固定在显微物镜（18）的下端；辅助条纹投影系统（1）固定在条纹投影系统光源支架（2）上，被测物体（8）置于旋转台（9）上面，旋转台（9）安放在横向位移台（10）上，条纹投影系统光源支架（2）和横向位移台（10）安放在载物台（3）上；载物台（3）与三维操作台（4）固定，使载物台（3）与三维操作台（4）始终位于同一平面内；移动台控制器（14）与三维操作台（4）、旋转台（9）、横向位移台（10）连接并控制三维操作台（4）、旋转台（9）、横向位移台（10）动作；左相机（6）和右相机（7）与计算机（11）连接，移动台控制器（14）通过串口与计算机（11）通信；计算机（11）采集左相机（6）和右相机（7）中的立体图像对并进行处理，通过串行口控制移动台控制器（14）输出脉冲信号，控制三维操作台（4）沿深度面纵向图像采集方向（12）移动，控制旋转台（9）沿深度面平面图像采集方向（13）旋转，控制横向位移台（10）沿与条纹垂直方向移动，在深度面纵向图像采集方向（12）和深度面平面图像采集方向（13）上产生“桶形”节点；该方法包括以下步骤：1）、“桶形”节点结构原始图像采集及条纹图像采集：在复合式体视显微镜显微立体视觉测量系统中，通过控制三维操作台（4）和旋转台（9）实现被测物沿深度面纵向图像采集方向（12）和深度面平面图像采集方向（13）移动，以“桶形”节点结构采集原始立体图像对；首先通过计算机（11）操作三维操作台（4）和旋转台（9），将被测物体（8）移动到体视显微镜（5）的第1深度面第1节点位置K11，采集原始立体图像对，使用体视显微镜（5）的聚焦面作为第1深度面Plane_1，第一深度面第一节点位置K11任意确定，然后控制旋转台（9）沿深度面平面图像采集方向（13）等角度旋转，分别在节点位置K12、K13至K1N处等待一段时间，采集原始立体图像对，节点间的角度α=360°/N；在第1深度面Plane_1采集完所有节点的原始立体图像对后，调整旋转台（9）沿深度面平面图像采 集方向（13）旋转回第一深度面第一节点K11位置，然后调整三维操作台（4）沿深度面纵向图像采集方向（12）向上移动，到达第2深度面Plane_2,控制旋转台（9）沿深度面平面图像采集方向（13）等角度旋转，分别在K21、K22、K23至K2N处采集原始立体图像对，依次类推，最后调整三维操作台（4）沿深度面纵向图像采集方向（12）向上移动,到达第M深度面Plane_M，控制旋转台（9）沿深度面平面图像采集方向（13）等角度旋转，分别在节点位置KM1、KM2、KM3至KMN处等待一段时间，采集原始立体图像对,完成整个“桶形”图像采集过程；每个深度面对应的第N个位置的节点，即K1N、K2N…KMN节点在深度面纵向图像采集方向（12）上处于同一条直线；在每层深度面的第一节点位置采集的原始立体图像对作为该深度面的左原始参考图像和右原始参考图像；同一深度面不同节点位置处的左原始图像集合称为该深度面的左原始图像序列，同一深度面不同节点位置处的右原始图像集合称为该深度面的右原始图像序列；该深度面的左原始图像序列（S1）以左原始参考图像为基准进行配准，合成为一幅该深度面的左原始合成图像，该深度面的右原始图像序列（S6）的配准与合成与左原始图像序列（S1）的配准与合成方法相同；在每层深度面的第一节点位置处采集条纹图像，通过计算机（11）控制横向位移台（10）带动旋转台（9）和被测物体（8）沿与条纹垂直方向一维等间隔移动，间隔距离任意确定，在一维方向上从被测物体的起始端到末端设置多个采集位置，每个位置上均采集条纹立体图像对，采集左条纹图像lL1、lL2、lL3、lL4…lLV和右条纹图像lR1、lR2、lR3、lR4…lRV，并按采集的先后顺序编号，把各位置处的条纹图像合成为该深度面的一幅左条纹参考图像和一幅右条纹参考图像；2）、同一深度面不同节点位置处的原始图像配准：使旋转台（9）沿深度面平面图像采集方向（13）等角度旋转，对采集的同...
【技术特征摘要】
1.一种多视角大深度显微立体视觉特征融合测量方法，其特征在于，包括以下步骤:使用复合式体视显微镜显微立体视觉测量系统以“桶形”方式采集原始立体图像对，复合式体视显微镜显微立体视觉测量系统包括辅助条纹投影系统(I)、三维操作台(4)、体视显微镜(5)、左相机(6)和右相机(7),主体为体视显微镜(5),左相机(6)和右相机(7)分别固定于体视显微镜(5)的左相机固定架(16)与右相机固定架(17)上面,显微物镜(18)固定在体视显微镜(5)的下端，环形光源(15)固定在显微物镜(18)的下端；辅助条纹投影系统(I)固定在条纹投影系统光源支架(2)上，被测物体(8)置于旋转台(9)上面，旋转台(9)安放在横向位移台(10 )上，条纹投影系统光源支架(2 )和横向位移台(10 )安放在载物台(3 )上；载物台(3)与三维操作台(4)固定，使载物台(3)与三维操作台(4)始终位于同一平面内；移动台控制器(14 )与三维操作台(4 )、旋转台(9 )、横向位移台(10 )连接并控制三维操作台(4)、旋转台(9)、横向位移台(10)动作；左相机(6)和右相机(7)与计算机(11)连接，移动台控制器(14)通过串口与计算机(11)通信；计算机(11)采集左相机(6)和右相机(7)中的立体图像对并进行处理，通过串行口控制移动台控制器(14)输出脉冲信号，控制三维操作台(4)沿深度面纵向图像采集方向(12)移动，控制旋转台(9)沿深度面平面图像采集方向(13)旋转，控制横向位移台(10)沿与条纹垂直方向移动，在深度面纵向图像采集方向(12)和深度面平面图像采集方向(13)上产生“桶形”节点； 该方法包括以下步骤: 1)、“桶形”节点结构原始图像采集及条纹图像采集:在复合式体视显微镜显微立体视觉测量系统中，通过控制三维操作台(4)和旋转台(9)实现被测物沿深度面纵向图像采集方向(12)和深度面平面图像采集方向(13)移动，以“桶形”节点结构采集原始立体图像对；首先通过计算机(11)操作三维操作台(4)和旋转台(9)，将被测物体(8)移动到体视显微镜 (5)的第I深度面第I节点位置K11,采集原始立体图像对，使用体视显微镜(5)的聚焦面作为第I深度面Plane_l，第一深度面第一节点位置K11任意确定，然后控制旋转台(9)沿深度面平面图像采集方向(13)等角度旋转，分别在节点位置K12、K13至Kin处等待一段时间，采集原始立体图像对，节点间的角度α =360° /N ;在第I深度面Plane_l采集完所有节点的原始立体图像对后，调整旋转台(9)沿深度面平面图像采集方向(13)旋转回第一深度面第一节点K11位置，然后调整三维操作台(4)沿深度面纵向图像采集方向(12)向上移动，到达第2深度面Plane_2，控制旋转台(9)沿深度面平面图像采集方向(13)等角度旋转，分别在K21、K22, K23至K2n处采集原始立体图像对，依次类推，最后调整三维操作台(4)沿深度面纵向图像采集方向(12)向上移动，到达第M深度面Plane_M，控制旋转台(9)沿深度面平面图像采集方向(13)等角度旋转，分别在节点位置KM1、KM2、KM3至Kmn处等待一段时间，采集原始立体图像对，完成整个“桶形”图像采集过程；每个深度面对应的第N个位置的节点，即K1N、KfKm节点在深度面纵向图像采集方向(12)上处于同一条直线； 在每层深度面的第一节点位置采集的原始立体图像对作为该深度面的左原始参考图像和右原始参考图像；同一深度面不同节点位置处的左原始图像集合称为该深度面的左原始图像序列，同一深度面不同节点位置处的右原始图像集合称为该深度面的右原始图像序列；该深度面的左原始图像序列(SI)以左原始参考图像为基准进行配准，合成为一幅该深度面的左原始合成图像，该深度面的右原始图像序列(S6)...
【专利技术属性】
技术研发人员：王跃宗，殷文佳，张称称，马国栋，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。