基于随机点阵的多线激光三维成像方法及系统技术方案

本发明专利技术公开了一种基于随机点阵的多线激光三维成像方法及系统，其采用多线激光并结合旋转机构实现大视野范围快速扫描效果，工作效率呈数量级提高且系统的部署难易程度降低。与此同时，由于在成像范围内，各局部区域的随机点阵图案特征具有唯一性，本发明专利技术对多条激光线进行提取与位置序号区分，且通过相邻图像间随机点阵图案的特征进行相互校验来减少噪点的产生，三维点云数据质量上得到极大改善，可应用于无序抓取上下料、拆码垛、物流分拣等工业应用。

【技术实现步骤摘要】
基于随机点阵的多线激光三维成像方法及系统
本专利技术属于3D机器视觉
，具体涉及一种基于随机点阵的多线激光三维成像方法及系统。
技术介绍
随着机器人技术的发展，工业机器人已经参与到工业制造及生产的各个环节，成为了工厂自动化、智能化进程中不可或缺的角色。在面对一些简单的应用场景时，如机加工有序上料，虽然通过机器人编程可实现自动化，从而替代人工，但在面对复杂无序的场景时，需要可作为“眼睛”的三维成像系统赋予机器人更多的产品空间位姿信息，实现无序上下料、拆码垛、物流分拣等工业应用的自动化。基于LED结构光的三维成像系统因具有成像精度高、速度快的特点被广泛使用，但在大视野范围成像时会因LED光源亮度不足、对比度低等因素造成数据质量严重下降，且需要增加移动模组或多个系统并联来实现大范围扫描，不仅增加了系统成本，还降低了扫描帧率。激光由于具有高亮度、高对比度的特点也被用于结构光三维成像，而基于单线激光的三维成像系统应用虽然已经很成熟，但其只能获得一条线上的数据，需借助移动模组或旋转机构实现成像范围覆盖，工作效率低。公开号为CN108375346B的中国专利采用微振镜方式同样可实现面阵扫描效果，采用双轴微振镜旋转实现点激光器的面阵扫描效果，其需要结合光学元件的高精密设计加工及装配才可实现，结构实现方式相对复杂，另外此实现方式会极大降低激光光源的输出功率，通常不到100MW，只能适用于小视野低亮度的应用场景。公开号为CN1052030046A的中国专利则是采用多线阵列激光实现三维扫描，即多个激光器并列构成激光阵列模组以提升扫描速率，然而需要借助移动机构将该激光阵列模组构成的扫描系统移动至下一个扫描平面，虽然同样可以达到区域内面阵扫描效果，但效率仍然低下，目前只能应用于离线三维扫描。基于多线激光的三维成像系统虽然可解决效率低的问题，但存在当扫描物体高度值大于激光线间距时无法准确识别定位激光线序，造成空间位置信息求解错误的问题，激光线越密，求解错误概率越大，数据噪声则越多。相关学者曾基于随机点阵及多线激光器的结构光源实现了三维成像，其系统特点是结构光源固定不动，被测物体采用移动机构使其相对结构光源移动，从而达到面阵扫描效果，扫描效率同样低下，而且需要借助外部移动机构，另外该扫描系统仅使用了单个成像单元，对于系统标定的要求更高，标定困难且标定精度偏低，三维重建后的点云精度差；在定位激光线序问题时，因缺少约束条件，即无法对激光线序定位后进行二次匹配校验，从而会产生较多的误匹配定位，最终得到若干噪点，点云数据质量下降。总的来说，目前的基于多线激光的三维扫描系统存在系统复杂或结构光源输出功率不足，工业适应性低等问题，在三维重建算法上，存在激光线序匹配定位错误从而引起噪点的问题。
技术实现思路
鉴于上述，本专利技术提出了一种基于随机点阵的多线激光三维成像方法及系统，能够准确定位区分激光线序，减少数据噪声，提高数据精度。一种基于随机点阵的多线激光三维成像方法，包括如下步骤：(1)利用随机点阵激光光源向物体表面投射随机点阵图案，并对物体进行图像采集，得到含有点阵图案的背景图像；(2)在随机点阵激光光源照射的基础上，利用多线激光光源发出的激光经高反镜面反射至物体表面，控制高反镜面以一定速度旋转使激光线条在物体表面平移扫描，在扫描过程中依次采集获取包含点阵图案及激光线条在内的n张物体图像P1,P2,…,Pn，其中P1作为基准图像，n为自然数且n≥L/W，L为激光线条的间距，W为激光线条的宽度；(3)对所有物体图像中的激光线条进行亚像素提取；(4)通过与基准图像进行区域匹配，确定物体图像P2,…,Pn中各激光线条的线序位置；(5)根据物体图像P1,P2,…,Pn中确定线序位置的激光线条上各个点的亚像素坐标，利用三角测距原理计算生成点云数据从而对物体进行三维重构。进一步地，所述步骤(3)的具体实现方式如下：3.1对于任一物体图像，通过灰度差值比较识别出物体图像中的激光线条；3.2对于激光线条上的任一点P，其在图像中的坐标为(x0，y0)，通过Hessian矩阵得到P点上光线的法线方向(nx，ny)；3.3通过以下公式计算出P点的亚像素坐标(Px，Py)；Px＝x0+t×nxPy＝y0+t×ny其中：H(x0,y0)为P点的Hessian矩阵，rxx为图像中P点沿X轴的二阶偏导数，rx为图像中P点沿X轴的一阶偏导数，ryy为图像中P点沿Y轴的二阶偏导数，ry为图像中P点沿Y轴的一阶偏导数，rxy为图像中P点沿X、Y轴的混合二阶偏导数。进一步地，所述步骤3.1中使物体图像与背景图像就灰度值进行差值计算，进而根据灰度差值识别出物体图像中的激光线条。进一步地，所述步骤3.2中的法线方向(nx，ny)即为Hessian矩阵H(x0,y0)最大特征值对应的特征向量对应于光线的法线方向。进一步地，所述步骤(4)的具体实现方式如下：4.1在基准图像中选定一定数量的匹配点，并按位置顺序对基准图像中的激光线条依次进行编号；4.2对于任一匹配点，以该点为中心创建一个N×N大小的区域D，N为大于1的自然数；4.3对于物体图像P2,…,Pn中的任一图像，在该图像沿极线在视差范围内取出同样为N×N大小的区域，使这些区域逐一与区域D进行相似度匹配，确定其中相似度最高的区域；4.4根据步骤4.2～4.3遍历所有匹配点，通过区域匹配的方式搜索与基准图像中对应序号的激光线条，从而对物体图像P2,…,Pn中的激光线条进行定位并标记序号。进一步地，所述步骤4.3中采用WTA(WinnerTakeAll)原则对区域进行相似度匹配，以NCC(NormalizedCrossCorrelation)相似度衡量函数作为相似度评价指标。进一步地，所述步骤(4)确定物体图像P2,…,Pn中各激光线条的线序位置后，根据前后相邻图像具有相同随机点阵信息的特点，通过相邻图像中的激光线条信息进行相互校验。一种基于随机点阵的多线激光三维成像系统，包括随机点阵激光光源、多线激光光源、高反镜面、旋转机构、图像采集单元、核心控制单元以及数据处理单元，其中：所述随机点阵激光光源用于向物体表面投射随机点阵图案；所述多线激光光源发出的激光经高反镜面反射至物体表面，其光源发射中心须与高反镜面中心保持重合且发出的激光线束数量大于等于3；所述旋转机构用于带动高反镜面以一定速度旋转使激光线条在物体表面平移扫描；所述图像采集单元用于对物体进行图像采集，得到含有点阵图案的背景图像以及包含点阵图案及激光线条在内的物体图像P1,P2,…,Pn，图像采集单元至少包含一个成像模块，成像模块的光轴须与多线激光光源发射中心位于同一平面；所述核心控制单元包括电源管理模块、通讯模块以及控制模块，所述电源管理模块用于为系统供电，所述通讯模块负载系统中其他功能部件与数据处理单元之间的通信，所述控制模块用本文档来自技高网...

【技术保护点】
1.一种基于随机点阵的多线激光三维成像方法，包括如下步骤：/n(1)利用随机点阵激光光源向物体表面投射随机点阵图案，并对物体进行图像采集，得到含有点阵图案的背景图像；/n(2)在随机点阵激光光源照射的基础上，利用多线激光光源发出的激光经高反镜面反射至物体表面，控制高反镜面以一定速度旋转使激光线条在物体表面平移扫描，在扫描过程中依次采集获取包含点阵图案及激光线条在内的n张物体图像P

【技术特征摘要】
1.一种基于随机点阵的多线激光三维成像方法，包括如下步骤：
(1)利用随机点阵激光光源向物体表面投射随机点阵图案，并对物体进行图像采集，得到含有点阵图案的背景图像；
(2)在随机点阵激光光源照射的基础上，利用多线激光光源发出的激光经高反镜面反射至物体表面，控制高反镜面以一定速度旋转使激光线条在物体表面平移扫描，在扫描过程中依次采集获取包含点阵图案及激光线条在内的n张物体图像P1,P2,…,Pn，其中P1作为基准图像，n为自然数且n≥L/W，L为激光线条的间距，W为激光线条的宽度；
(3)对所有物体图像中的激光线条进行亚像素提取；
(4)通过与基准图像进行区域匹配，确定物体图像P2,…,Pn中各激光线条的线序位置；
(5)根据物体图像P1,P2,…,Pn中确定线序位置的激光线条上各个点的亚像素坐标，利用三角测距原理计算生成点云数据从而对物体进行三维重构。


2.根据权利要求1所述的多线激光三维成像方法，其特征在于：所述步骤(3)的具体实现方式如下：
3.1对于任一物体图像，通过灰度差值比较识别出物体图像中的激光线条；
3.2对于激光线条上的任一点P，其在图像中的坐标为(x0，y0)，通过Hessian矩阵得到P点上光线的法线方向(nx，ny)；
3.3通过以下公式计算出P点的亚像素坐标(Px，Py)；
Px＝x0+t×nx
Py＝y0+t×ny






其中：H(x0,y0)为P点的Hessian矩阵，rxx为图像中P点沿X轴的二阶偏导数，rx为图像中P点沿X轴的一阶偏导数，ryy为图像中P点沿Y轴的二阶偏导数，ry为图像中P点沿Y轴的一阶偏导数，rxy为图像中P点沿X、Y轴的混合二阶偏导数。


3.根据权利要求2所述的多线激光三维成像方法，其特征在于：所述步骤3.1中使物体图像与背景图像就灰度值进行差值计算，进而根据灰度差值识别出物体图像中的激光线条。


4.根据权利要求2所述的多线激光三维成像方法，其特征在于：所述步骤3.2中的法线方向(nx，ny)即为Hessian矩阵H(x0,y0)最大特征值对应的特征向量对应于光线的法线方向。


5.根据权利要求1所述的多线激光三维成像方法，其特征在于：所述步骤(4)的具体实现方式如下：
4.1在基准图像中选定一定数量的匹配点，并按...

【专利技术属性】
技术研发人员：陈贵，肖志勇，李芹，
申请(专利权)人：浙江汉振智能技术有限公司，
类型：发明
国别省市：浙江;33