一种基于三维点云的目标识别与定位方法及系统技术方案

本发明专利技术公开了一种基于三维点云的目标识别与定位方法及系统，把工业生产上下料中目标工件的识别与定位过程分为离线特征提取和在线特征匹配两个模块，大大减少了实时阶段的计算量，提高了运算速度。本发明专利技术引入了匹配质量评估以获得精确的工件三维位置和姿态，从而控制工业机器人以相应姿态抓取被识别的工件。不同于针对工件局部几何形状特征(如：圆、孔洞等)客制化开发的目标识别与定位算法，本发明专利技术能够进行通用识别与精确定位，对不同的工件不需要进行算法的重新开发，节省了开发时间。此外，传统的机器人上下料方案要求工件按照一定姿态进入相机视野，本发明专利技术对工件在相机视野中的姿态没有任何要求，工件可以离散放置、相互重叠或相互遮挡。

Method and system for target recognition and positioning based on three-dimensional point cloud

The invention discloses a method and a system for object recognition and localization of 3D point cloud based on the identification and localization of target material in workpieces in industrial production process is divided into offline feature extraction and feature matching online two modules, which greatly reduces the computation time of the stage, to improve the speed of operation. The invention introduces matching quality evaluation to obtain accurate three-dimensional position and posture of the workpiece, thereby controlling the industrial robot to grasp the recognized workpiece in a corresponding gesture. Different from the local geometry for the workpiece characteristics (such as: round hole) object recognition and localization customization development algorithm, the invention can carry out universal recognition and accurate positioning of different workpieces without the need to develop algorithms, saving development time. In addition, the traditional robot baiting scheme according to certain requirements of the workpiece attitude into the camera view, the attitude of the workpiece in the camera in the field without any requirements, the workpiece can be placed, discrete overlap or occlusion.

【技术实现步骤摘要】
一种基于三维点云的目标识别与定位方法及系统
：本专利技术属于机器视觉
，具体是涉及一种基于三维点云的目标识别与定位方法及系统。
技术介绍
：在工业生产过程中，上下料是不可或缺且多次出现的生产工序。当前工业生产过程中根据来料的体积和重量采用不同的上下料方式，比如使用振动盘对体积、重量较小的工件(如：螺钉)进行有序排列并供料给锁螺丝机等设备；对于体积、重量中等且容易损坏的工件由人工手动进行拾取和放置；对于体积、重量较大且生产环境恶劣的工件，使用机器视觉引导工业机器人对工件进行上下料(如给冲压、铸造等设备上下料)。随着全世界范围人工成本的提高，中国人口红利的逐渐消失以及机器人技术、机器视觉技术在过去几十年的蓬勃发展，加上工业机器人和机器视觉在工业领域应用范围的不断拓展，使得机器视觉引导机器人上下料的方式越来越受广大生产厂商的欢迎。康耐视(COGNEX)、基恩士(KEYENCE)、大恒等国内外视觉公司以及库卡(KUKA)、ABB、安川(Yaskawa)、发那科(FANUC)等工业机器人生产厂商相继提出各自的工业机器人视觉引导方案。目前存在的视觉引导方案基本工作流程为：使用工业相机对工件进行拍照，利用机器视觉技术获得目标工件与标准姿态之间存在的偏差，继而规划工业机器人的抓取路径，完成工件的上下料。尽管机器视觉技术可以适用于对相机视场范围内不同体积和重量的工件上下料工序进行引导，但机器视觉方法的正确率和精度却对待测工件的形貌特征非常敏感，也就是说没有某一种机器视觉算法能够适用于所有工件，当前机器视觉方法必须根据具体工件的局部几何形状特征来选取特定的算法。每当更换生产工件时，需要根据工件自身局部几何形状特征开发对应的识别与定位算法，当下的工业机器人视觉引导方案针对不同工件缺乏通用性，严重限制了生产效率。除此之外，目前实现的机器视觉引导工业机器人上下料方案，工件需要按照一定姿态进入相机视野且只能获得工件相对于标准姿态在XOY平面的位置偏差和绕Z轴的偏转角，不能完全获得工件的三维位置和姿态信息。所以，为了提高工业生产中机器人的工作效率，需要研发基于三维视觉的通用物体识别及精确的三维空间定位方法。
技术实现思路
：为解决上述工业机器人视觉引导方案对工件上下料存在的局限性，本专利技术提出一种基于三维点云的目标识别与定位方法及系统，检测各种不同工件时无需根据工件自身局部几何形状特征(如：圆、孔洞等特征)再次开发或修改识别与定位算法，只需导入工件模型，本专利技术中提出的算法会自动提取和描述目标工件的关键特征，并将其用于实际工作场景中目标识别以及三维位置和姿态的计算。为达到上述目的，本专利技术的技术方案如下：一种基于三维点云的目标识别与定位方法，包括如下步骤：S1：离线特征提取，导入工件模型，计算并创建数据库。S2：在线特征匹配，获取最终的目标识别与定位结果。所述步骤S1具体包括如下步骤：S11：导入工件的模型点云。S12：计算模型点云中各个点对应的法向量。S13：在模型点云中随机选取一个模型点对，计算所述模型点对对应的模型点对特征。S14：重复所述步骤S13，获取模型点云中一定数量的模型点对及其对应的模型点对特征，使用上述获取的模型点对及其对应的模型点对特征创建数据库。所述步骤S2具体包括如下步骤：S21：采集工件所在场景的三维点云数据，即获取了工件的场景点云，对所述场景点云进行预处理。S22：计算预处理后的场景点云中各个空间点对应的法向量。S23：在场景点云中随机选取一个场景点对，计算所述场景点对对应的场景点对特征。S24：特征匹配，使用所述场景点对特征在所述步骤S14创建的数据库中查找具有相同特征的模型点对。S25：使用具有相同特征的模型点对和场景点对产生位姿假设。S26：对步骤S25中产生的位姿假设进行匹配质量评估。S27：多次循环步骤S23～S26，获取匹配质量最优的一个位姿假设作为最终的目标识别与定位结果。作为上述技术方案的优选，所述步骤S13中：所述模型点对由模型点云中任意两点及各自法向量组成。作为上述技术方案的优选，所述步骤S21中：使用3D相机采集工件所在场景的三维点云数据。作为上述技术方案的优选，所述步骤S21中：所述预处理包括滤波及去噪处理，用于去除场景点云中噪声点及离群点。作为上述技术方案的优选，所述步骤S23中：所述场景点对由场景点云中任意两点及其各自法向量组成。一种基于三维点云的目标识别与定位系统，包括：离线特征提取模块，所述离线特征提取模块用于导入工件模型，计算并创建数据库。在线特征匹配模块，所述在线特征匹配模块用于获取最终的目标识别与定位结果。所述离线特征模块具体包括：模型点云加载子模块，所述模型点云加载子模块用于导入工件的模型点云。模型点云法向量计算子模块，所述模型点云法向量计算子模块用于计算模型点云中各个点对应的法向量。模型点对特征计算子模块，所述模型点对特征计算子模块用于在模型点云中随机选取一个模型点对，计算所述模型点对对应的模型点对特征。数据库创建子模块，所述数据库创建子模块用于重复所述模型点对特征计算子模块中的计算方法，获取模型点云中一定数量的模型点对及其对应的模型点对特征，使用上述获取的模型点对及其对应的模型点对特征创建数据库。所述在线特征匹配模块具体包括：场景点云获取子模块，所述场景点云获取子模块用于采集工件所在场景的三维点云数据，即获取了工件的场景点云，对所述场景点云进行预处理。场景点云法向量计算子模块，所述场景点云法向量计算子模块用于计算预处理后的场景点云中各个空间点对应的法向量。场景点对特征计算子模块，所述场景点对特征计算子模块用于在场景点云中随机选取一个场景点对，计算所述场景点对对应的场景点对特征。特征匹配子模块，所述特征匹配子模块用于使用所述场景点对特征在所述数据库创建子模块创建的数据库中查找具有相同特征的模型点对。位姿假设子模块，所述位姿假设子模块用于使用具有相同特征的模型点对和场景点对产生位姿假设。匹配质量评估子模块，所述匹配质量评估子模块用于对位姿假设子模块中产生的位姿假设进行匹配质量评估。目标识别与定位结果获取子模块，所述目标识别与定位结果获取子模块用于多次循环场景点对特征计算子模块～匹配质量评估子模块中的操作，获取匹配质量最优的一个位姿假设作为最终的目标识别与定位结果。作为上述技术方案的优选，所述模型点对特征计算子模块中：所述模型点对由模型点云中任意两点及各自法向量组成。作为上述技术方案的优选，所述场景点云获取子模块中：使用3D相机采集工件所在场景的三维点云数据。作为上述技术方案的优选，所述场景点云获取子模块中：所述预处理包括滤波及去噪处理，用于去除场景点云中噪声点及离群点。作为上述技术方案的优选，所述场景点对特征计算子模块中：所述场景点对由场景点云中任意两点及其各自法向量组成。本专利技术的有益效果在于：本专利技术把工业生产上下料中目标工件的识别与定位过程分为离线特征提取和在线特征匹配两个模块，大大减少了实时阶段的计算量，提高了运算速度。本专利技术引入了匹配质量评估以获得精确的工件三维位置和姿态，从而控制工业机器人以相应姿态抓取被识别的工件。传统的机器视觉方法需要根据工件局部几何形状特征(如：圆、孔洞等特征)开发对应的识别与定位算法，本专利技术能够进行通用的识别与精确的定位，对不本文档来自技高网...

【技术保护点】
一种基于三维点云的目标识别与定位方法，其特征在于，包括如下步骤：S1：离线特征提取，导入工件模型，计算并创建数据库；S2：在线特征匹配，获取最终的目标识别与定位结果；所述步骤S1具体包括如下步骤：S11：导入工件的模型点云；S12：计算模型点云中各个点对应的法向量；S13：在模型点云中随机选取一个模型点对，计算所述模型点对对应的模型点对特征；S14：重复所述步骤S13，获取模型点云中一定数量的模型点对及其对应的模型点对特征，使用上述获取的模型点对及其对应的模型点对特征创建数据库；所述步骤S2具体包括如下步骤：S21：采集工件所在场景的三维点云数据，即获取了工件的场景点云，对所述场景点云进行预处理；S22：计算预处理后的场景点云中各个空间点对应的法向量；S23：在场景点云中随机选取一个场景点对，计算所述场景点对对应的场景点对特征；S24：特征匹配，使用所述场景点对特征在所述步骤S14创建的数据库中查找具有相同特征的模型点对；S25：使用具有相同特征的模型点对和场景点对产生位姿假设；S26：对步骤S25中产生的位姿假设进行匹配质量评估；S27：多次循环步骤S23～S26，获取匹配质量最优的一个位姿假设作为最终的目标识别与定位结果。...

【技术特征摘要】
1.一种基于三维点云的目标识别与定位方法，其特征在于，包括如下步骤：S1：离线特征提取，导入工件模型，计算并创建数据库；S2：在线特征匹配，获取最终的目标识别与定位结果；所述步骤S1具体包括如下步骤：S11：导入工件的模型点云；S12：计算模型点云中各个点对应的法向量；S13：在模型点云中随机选取一个模型点对，计算所述模型点对对应的模型点对特征；S14：重复所述步骤S13，获取模型点云中一定数量的模型点对及其对应的模型点对特征，使用上述获取的模型点对及其对应的模型点对特征创建数据库；所述步骤S2具体包括如下步骤：S21：采集工件所在场景的三维点云数据，即获取了工件的场景点云，对所述场景点云进行预处理；S22：计算预处理后的场景点云中各个空间点对应的法向量；S23：在场景点云中随机选取一个场景点对，计算所述场景点对对应的场景点对特征；S24：特征匹配，使用所述场景点对特征在所述步骤S14创建的数据库中查找具有相同特征的模型点对；S25：使用具有相同特征的模型点对和场景点对产生位姿假设；S26：对步骤S25中产生的位姿假设进行匹配质量评估；S27：多次循环步骤S23～S26，获取匹配质量最优的一个位姿假设作为最终的目标识别与定位结果。2.根据权利要求1所述的基于三维点云的目标识别与定位方法，其特征在于，所述步骤S13中：所述模型点对由模型点云中任意两点及各自法向量组成。3.根据权利要求1所述的基于三维点云的目标识别与定位方法，其特征在于，所述步骤S21中：使用3D相机采集工件所在场景的三维点云数据。4.根据权利要求1所述的基于三维点云的目标识别与定位方法，其特征在于，所述步骤S21中：所述预处理包括滤波及去噪处理，用于去除场景点云中噪声点及离群点。5.根据权利要求1所述的基于三维点云的目标识别与定位方法，其特征在于，所述步骤S23中：所述场景点对由场景点云中任意两点及其各自法向量组成。6.一种基于三维点云的目标识别与定位系统，其特征在于，包括：离线特征提取模块，所述离线特征提取模块用于导入工件模型，计算并创建数据库；在线特征匹配模块，所述在线特征匹配模块用于获取最终的目标识别与定位结果；所述离线特征模块具体包括：模型点云加载子模块，所述模型点云加载子模块用于导入工件的模型点...

【专利技术属性】
技术研发人员：吕绍林，孟健，王莹，陈文桥，孙金虎，王洋，
申请(专利权)人：苏州博众精工科技有限公司，
类型：发明
国别省市：江苏,32