基于光场单相机的工业产品三维形貌实时检测系统技术方案

本发明专利技术公开了一种属于机器视觉领域的光场单相机工业产品三维形貌实时检测系统，该检测系统包括光场相机系统和数据处理终端两部分，光场相机系统包括一台高分辨率的光场相机、多自由度相机支架、相机校准板，数据处理终端包括GPU高速图像并行处理单元、光场相机深度估计算法。本系统用于工业检测时，光场相机在事先校准的情况下，对待检物品各个方位的三维形貌实时检测，以提升流水线产品装配效率、减少工业产品流水线上的次品率。

Real time inspection system for 3D shape of industrial products based on light field single camera

The invention discloses a real-time detection system belongs to the field of machine vision light field camera industrial product 3D image, the detection system includes a light field camera system and data processing terminal two, light field camera system includes a high resolution light field camera, multi DOF camera support, camera calibration, data processing the terminal includes GPU high-speed parallel image processing unit, light field camera depth estimation algorithm. This system used for industrial detection, light field camera in the prior calibration, 3D real-time detection of detected items in all directions, in order to improve the efficiency and reduce the assembly line of industrial products on the lines of the defective rate.

【技术实现步骤摘要】
基于光场单相机的工业产品三维形貌实时检测系统
本专利技术涉及机器视觉领域，特别是涉及一种基于光场单相机的工业产品三维形貌实时检测系统。
技术介绍
近年来，随着工业4.0进程的不断加深，机器视觉在工业制造上的重要性也与日俱增，应用范围不断扩大。目前，机器视觉已成功应用到工业制造中的工业检测领域。传统工业检测中，会使用多种类型的三维扫描仪对流水线上的产品做三维尺寸、瑕疵检测。三维扫描仪的制作并非仰赖单一技术，各种不同的重建技术都有其优缺点，成本与售价也有高低之分。目前并无一体通用之重建技术，仪器与方法往往受限于物体的表面特性。例如光学技术不易处理闪亮(高反照率)、镜面或半透明的表面，而激光技术不适用于脆弱或易变质的表面。工业产品三维检测目前采用的主流方法有以下几种：三坐标测量机、三维激光扫描技术、双目立体视觉系统等。三坐标测量机的精度虽然高，但是价格比较贵、操作起来也比较复杂，尤其是当被测物体的形状比较复杂的时候，测量的精度就比较慢，从而不可以用在在线测量。三维激光扫描技术可以快速、大量的采集空间点位信息，为快速建立物体的三维影像模型提供了一种全新的技术手段，但存在着普遍成本过高(基本都在100万元以上)，精度、测距与扫描速率存矛盾、不适用于精密表面等缺点。双目立体视觉系统虽然有着较为低廉的成本，但其精度以及对拍摄条件的要求很高，适用性不强。。
技术实现思路
本专利技术针对上技术的述不足，提供一种基于自主开发的光场单相机三维形貌实时检测系统，可以在较低的拍摄窗口需求下，最大程度上减少单台测试系统的成本，增加整个系统的灵活性。光场成像技术通过单台设备、单拍摄即可实现对复杂物体的三维形态测量，非常适用于替代现有工业生产流水线上的检测相机，在简化硬件系统、减低成本的同时，实现对流水线上零部件的三维形貌、尺寸测量。为了实现上述目的，本专利技术是通过以下技术来实现的：本专利技术包括光场相机系统和数据处理终端两部分；光场相机系统由高分辨率光场单相机、多自由度相机支架、相机校准板构成，高分辨率光场单相机连接于多自由度相机支架的末端，多自由度相机支架立于产品流水线的侧面；数据处理终端包括GPU高速图像并行处理单元、光场相机深度估计算法、三维重建算法；相机与GPU高速图像并行处理单元通过高速相机数据线连接。优选地，在本专利技术的光场相机CCD/CMOS前精密地安装上微透镜阵列，使其能够在一次拍摄后记录四维光场信息。更优选地，在本专利技术中，多自由度相机支架包括三个平移自由度和三个旋转自由度。更优选地，在本专利技术相机固定的支架周围安装有均匀的、来自各个方向的光照装置，以提高待测物体表面的成像质量，提高重建精度；待测物体以相同的姿态进入光场单相机的拍摄区域，以保证在相同的拍摄位姿下，得到相同部分的三维形貌。更优选地，本专利技术的工作流程包括以下步骤：第一，相机校准；第二，拍摄标准件，生成三维形貌数据；第三，拍摄待测物体；第四，生成三维形貌数据，对比标准件；第五，反馈质量信息。拍摄前物体前，需要将相机校准板置于精密平移台上并用相机拍摄，经过算法处理消除相机的畸变，得出度量物体实际深度的系数。之后将相机固定于多自由度相机支架上对待测物体的某个角度或某几个角度拍摄，所得的数据传入GPU高速图像并行处理单元，由特定算法得出三维形貌，并与标准件数据作对比，剔除残次品。与现有技术相比，本专利技术具有如下的优势：首先，相比于普通双目立体视觉系统，本专利技术采用了单相机系统，减少相机的数量，也就减少了架放相机时空间的限制，使得该系统的体积减小，成本减少。由于系统本质上的主体是一台改装后的工业相机，对被拍摄物体的要求很低，装置简易，相对于激光扫描技术，本测试系统无需机械往复移动机构，减少了因机械振动带来的测量误差。同时，相比于激光扫描技术单次测量仅能提供单点三维数据的缺点，光场单相机可以通过一次拍摄提供零部件整体的三维点云数据。附图说明图1是本专利技术的实际检测工作示意图；图2是本专利技术的实例校准示意图；图3是本专利技术的工作流程图；附图中各部件的标记如下：1、多自由度相机支架，2、高分辨率光场单相机，3、待测物体流水线，4、GPU高速图像并行处理单元，5、相机校准板，6、待测物体；101、相机校准过程，102、拍摄标准件，生成三维形貌数据，103、拍摄待测物体，104、生成三维形貌数据，对比标准件，105、反馈三维尺寸、质量信息。具体实施方式下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。图1所示的是本专利技术的实际检测工作示意图，包括多自由度相机支架1、高分辨率光场单相机2、待测物体流水线3、GPU高速图像并行处理单元4和待测物体6，一台高分辨率光场单相机2固定在多自由度相机支架1的末端，多自由度相机支架1能够控制高分辨率光场单相机2在一定范围能实现六自由度移动(三个平移自由度，三个旋转自由度)，以拍摄待测物体流水线3上工件的指定方向三维形貌特征。实时拍摄的数据经由相机传送到GPU高速图像并行处理单元4，经过快速的算法处理后，得到待测物体三维信息，并于标准件的三维形貌作对比，若误差小于允许值则认定该物体合格；反之则判定为次品，可为后续的加工或产品筛选提供可靠的判断信息。如果需要从各个角度来判断制造质量，可以通过多自由度相机支架1控制高分辨率光场单相机2对指定的方向进一步拍摄。图2所示的是本专利技术的实例校准示意图，包括：高分辨率光场单相机2和相机校准板5。每次改变相机镜头对焦位置后都必须对相机做校准，以提高三维重建的精度。校准步骤为，保证相机校准板5垂直于相机的主光轴，多次拍摄，每次拍摄时都将相机校准板5沿着相机主光轴方向移动一段已知的距离。拍摄完毕后经由光场相机校准算法得到相机的校准矩阵，以备在拍摄实际待测物体时使用。图3所示的是本专利技术的工作流程图，101是图2中所介绍的相机校准步骤，102是对标准件的拍摄过程，拍摄后的数据可以用于和待测物体的三维形貌数据对比。103至105是一个实际检测时的工作循环模式，每一次循环代表了对某一个待测物体的判定过程。103是对每一个待测物体的用高分辨率光场单相机2的拍摄以及三维重建过程，104是将重建得到的数据与102得到的标准数据作对比，105是根据104中得到的三维形貌误差，为待测物体的质量做出判定，为生产线对该物体的后续处理提供判断依据。本文档来自技高网...

【技术保护点】
一种基于光场单相机的工业产品三维形貌实时检测系统，其特征在于，包括光场相机系统和数据处理终端两部分；光场相机系统由高分辨率光场单相机、多自由度相机支架、相机校准板构成，高分辨率光场单相机连接于多自由度相机支架的末端，多自由度相机支架立于产品流水线的侧面；数据处理终端包括GPU高速图像并行处理单元、光场相机深度估计算法、三维重建算法；相机与GPU高速图像并行处理单元通过高速相机数据线连接。

【技术特征摘要】
1.一种基于光场单相机的工业产品三维形貌实时检测系统，其特征在于，包括光场相机系统和数据处理终端两部分；光场相机系统由高分辨率光场单相机、多自由度相机支架、相机校准板构成，高分辨率光场单相机连接于多自由度相机支架的末端，多自由度相机支架立于产品流水线的侧面；数据处理终端包括GPU高速图像并行处理单元、光场相机深度估计算法、三维重建算法；相机与GPU高速图像并行处理单元通过高速相机数据线连接。2.根据权利要求1所述的基于光场单相机的工业产品三维形貌实时检测系统，其特征在于在光场相机CCD/CMOS前精密地安装上微透镜阵列，使其能够在一次拍摄后记录四维光场信...

【专利技术属性】
技术研发人员：许晟明，
申请(专利权)人：许晟明，
类型：发明
国别省市：上海,31