一种基于点云和图像的识别定位方法及系统技术方案

本发明专利技术公开了一种基于点云和图像的识别定位方法及系统。该方法包括：获取相机内参数、待识别目标的第一图像、与第一图像对应的深度图像以及待识别目标的特征信息；根据第一图像、深度图像和相机内参数对待识别目标进行三维重建，得到点云数据；根据点云数据和待识别目标的特征信息，采用点云坐标求取平均值方法确定待识别目标初始位置；根据待识别目标初始位置采用二维图像目标识别定位方法确定待识别目标最终位置。采用本发明专利技术的方法及系统，将三维的点云和二维的图像信息结合，能够快速多尺度的对目标进行识别与定位。

【技术实现步骤摘要】
一种基于点云和图像的识别定位方法及系统
本专利技术涉及视觉伺服中目标识别与定位
，特别是涉及一种基于点云和图像的识别定位方法及系统。
技术介绍
使用相机获取图像，并对图像进行处理，分析和理解，从而给机器人提供反馈信息，对机器人进行控制的技术称为视觉伺服技术。目前，随着无人工厂概念的提出与发展，视觉伺服技术在工业中使用越来越广泛。在传统的视觉伺服技术中，往往使用的是二维平面信息，对于在三维环境中工作的机器人来说会遗漏掉很多空间的立体信息。在二维图像中只有点的X轴和Y轴坐标，而通过三维重建得到的点云中还包含点的Z轴坐标，即深度信息，可以对目标的识别与定位起到关键的作用。并且随着深度相机不断发展，深度相机极大地帮助了其在工业机器人视觉伺服中更广泛的应用，使工业机器人有能力处理更高维的信息。但是由于点云处理往往存在速度较慢，精度较低的特点，二维图像处理虽然精度能做到很高但是包含的信息不足，因此如何进行快速地、多尺度地的目标识别与定位是亟待解决的问题。
技术实现思路
本专利技术的目的是提供一种基于点云和图像的识别定位方法及系统，将三维的点云和二维的图像信息结合，能够快速多尺度的对目标进行识别与定位。为实现上述目的，本专利技术提供了如下方案：一种基于点云和图像的识别定位方法，包括：获取相机内参数、待识别目标的第一图像、与所述第一图像对应的深度图像以及待识别目标的特征信息；根据所述第一图像、所述深度图像和所述相机内参数对待识别目标进行三维重建，得到点云数据；根据所述点云数据和所述待识别目标的特征信息，采用点云坐标求取平均值方法确定待识别目标初始位置；根据所述待识别目标初始位置采用二维图像目标识别定位方法确定待识别目标最终位置。可选的，所述根据所述第一图像、所述深度图像和所述相机内参数对待识别目标进行三维重建，得到点云数据，具体包括：获取第一像素坐标系下第一图像像素点坐标；所述第一像素坐标系为以第一图像左上角点为原点、摄像装置像平面为XOY平面建立第一像素坐标系；根据所述深度图像确定每一第一图像像素点对应的深度值；根据所述第一图像像素点坐标、所述深度值和所述相机内参数确定第一图像每一像素的点云坐标，得到点云数据。可选的，所述根据所述点云数据和所述待识别目标的特征信息，采用点云坐标求取平均值方法确定待识别目标初始位置，具体包括：对所述点云数据进行去除离群点操作，得到去除离群点后的点云；根据所述特征信息判断所述去除离群点后的点云是否满足待识别目标特征范围，并将不满足待识别目标特征的点云去除，得到特征处理后的点云；所述特征信息包括颜色信息和位置信息；所述颜色信息为RGB信息，所述位置信息为空间坐标信息；对特征处理后的点云坐标进行平均值计算得到平均坐标点，将所述平均坐标点作为第一像素坐标系下的待识别目标初始位置。可选的，所述根据所述待识别目标初始位置采用二维图像目标识别定位方法确定待识别目标最终位置，具体包括：获取坐标系转换参数；所述坐标系转换参数包括旋转参数、位移参数和坐标尺度比例参数；根据所述坐标系转换参数和所述相机内参数，将所述第一像素坐标系下的待识别目标初始位置转化为工具坐标系下的待识别目标初始位置；获取待识别目标的第二图像；所述第二图像为将机械臂末端移动至工具坐标系下的待识别目标初始位置后拍摄的图像；对所述第二图像采用二维图像目标识别定位方法确定在第二像素坐标系下待识别目标最终位置；所述第二像素坐标系为以第二图像左上角点为原点、摄像装置像平面为XOY平面建立第二像素坐标系；所述摄像装置安装于所述机械臂末端。可选的，在对所述第二图像采用二维图像目标识别定位方法确定在第二像素坐标系下待识别目标最终位置，之后还包括：根据所述坐标系转换参数和所述相机内参数，将第二像素坐标系下待识别目标最终位置转化为工具坐标系下的待识别目标最终位置；根据所述工具坐标系下的待识别目标最终位置控制所述机械臂对目标进行操作。本专利技术还提供一种基于点云和图像的识别定位系统，包括：获取模块，用于获取相机内参数、待识别目标的第一图像、与所述第一图像对应的深度图像以及待识别目标的特征信息；三维重建模块，用于根据所述第一图像、所述深度图像和所述相机内参数对待识别目标进行三维重建，得到点云数据；初始位置确定模块，用于根据所述点云数据和所述待识别目标的特征信息，采用点云坐标求取平均值方法确定待识别目标初始位置；最终位置确定模块，用于根据所述待识别目标初始位置采用二维图像目标识别定位方法确定待识别目标最终位置。可选的，所述三维重建模块，具体包括：第一图像像素点坐标获取单元，用于获取第一像素坐标系下第一图像像素点坐标；所述第一像素坐标系为以第一图像左上角点为原点、摄像装置像平面为XOY平面建立第一像素坐标系；深度值确定单元，用于根据所述深度图像确定每一第一图像像素点对应的深度值；点云数据确定单元，用于根据所述第一图像像素点坐标、所述深度值和所述相机内参数确定第一图像每一像素的点云坐标，得到点云数据。可选的，所述初始位置确定模块，具体包括：去除离群点操作单元，用于对所述点云数据进行去除离群点操作，得到去除离群点后的点云；特征处理单元，用于根据所述特征信息判断所述去除离群点后的点云是否满足待识别目标特征范围，并将不满足待识别目标特征的点云去除，得到特征处理后的点云；所述特征信息包括颜色信息和位置信息；所述颜色信息为RGB信息，所述位置信息为空间坐标信息；初始位置确定单元，用于对特征处理后的点云坐标进行平均值计算得到平均坐标点，将所述平均坐标点作为第一像素坐标系下的待识别目标初始位置。可选的，所述最终位置确定模块，具体包括：转换参数获取单元，用于获取坐标系转换参数；所述坐标系转换参数包括旋转参数、位移参数和坐标尺度比例参数；第一位置转换单元，用于根据所述坐标系转换参数和所述相机内参数，将所述第一像素坐标系下的待识别目标初始位置转化为工具坐标系下的待识别目标初始位置；第二图像获取单元，用于获取待识别目标的第二图像；所述第二图像为将机械臂末端移动至工具坐标系下的待识别目标初始位置后拍摄的图像；最终位置确定单元，用于对所述第二图像采用二维图像目标识别定位方法确定在第二像素坐标系下待识别目标最终位置；所述第二像素坐标系为以第二图像左上角点为原点、摄像装置像平面为XOY平面建立第二像素坐标系；所述摄像装置安装于所述机械臂末端。可选的，所述最终位置确定模块，还包括：第二位置转换单元，用于根据所述坐标系转换参数和所述相机内参数，将第二像素坐标系下待识别目标最终位置转化为工具坐标系下的待识别目标最终位置；控制单元，用于根据所述工具坐标系下的待识别目标最终位置控制所述机械臂对目标进行操作。与现有技术相比，本专利技术的有益效果是：本专利技术提出了一种基于点云和图像的识别定位方法及本文档来自技高网...

【技术保护点】
1.一种基于点云和图像的识别定位方法，其特征在于，包括：/n获取相机内参数、待识别目标的第一图像、与所述第一图像对应的深度图像以及待识别目标的特征信息；/n根据所述第一图像、所述深度图像和所述相机内参数对待识别目标进行三维重建，得到点云数据；/n根据所述点云数据和所述待识别目标的特征信息，采用点云坐标求取平均值方法确定待识别目标初始位置；/n根据所述待识别目标初始位置采用二维图像目标识别定位方法确定待识别目标最终位置。/n

【技术特征摘要】
1.一种基于点云和图像的识别定位方法，其特征在于，包括：
获取相机内参数、待识别目标的第一图像、与所述第一图像对应的深度图像以及待识别目标的特征信息；
根据所述第一图像、所述深度图像和所述相机内参数对待识别目标进行三维重建，得到点云数据；
根据所述点云数据和所述待识别目标的特征信息，采用点云坐标求取平均值方法确定待识别目标初始位置；
根据所述待识别目标初始位置采用二维图像目标识别定位方法确定待识别目标最终位置。


2.根据权利要求1所述的基于点云和图像的识别定位方法，其特征在于，所述根据所述第一图像、所述深度图像和所述相机内参数对待识别目标进行三维重建，得到点云数据，具体包括：
获取第一像素坐标系下第一图像像素点坐标；所述第一像素坐标系为以第一图像左上角点为原点、摄像装置像平面为XOY平面建立第一像素坐标系；
根据所述深度图像确定每一第一图像像素点对应的深度值；
根据所述第一图像像素点坐标、所述深度值和所述相机内参数确定第一图像每一像素的点云坐标，得到点云数据。


3.根据权利要求2所述的基于点云和图像的识别定位方法，其特征在于，所述根据所述点云数据和所述待识别目标的特征信息，采用点云坐标求取平均值方法确定待识别目标初始位置，具体包括：
对所述点云数据进行去除离群点操作，得到去除离群点后的点云；
根据所述特征信息判断所述去除离群点后的点云是否满足待识别目标特征范围，并将不满足待识别目标特征的点云去除，得到特征处理后的点云；所述特征信息包括颜色信息和位置信息；所述颜色信息为RGB信息，所述位置信息为空间坐标信息；
对特征处理后的点云坐标进行平均值计算得到平均坐标点，将所述平均坐标点作为第一像素坐标系下的待识别目标初始位置。


4.根据权利要求3所述的基于点云和图像的识别定位方法，其特征在于，所述根据所述待识别目标初始位置采用二维图像目标识别定位方法确定待识别目标最终位置，具体包括：
获取坐标系转换参数；所述坐标系转换参数包括旋转参数、位移参数和坐标尺度比例参数；
根据所述坐标系转换参数和所述相机内参数，将所述第一像素坐标系下的待识别目标初始位置转化为工具坐标系下的待识别目标初始位置；
获取待识别目标的第二图像；所述第二图像为将机械臂末端移动至工具坐标系下的待识别目标初始位置后拍摄的图像；
对所述第二图像采用二维图像目标识别定位方法确定在第二像素坐标系下待识别目标最终位置；所述第二像素坐标系为以第二图像左上角点为原点、摄像装置像平面为XOY平面建立第二像素坐标系；所述摄像装置安装于所述机械臂末端。


5.根据权利要求4所述的基于点云和图像的识别定位方法，其特征在于，在对所述第二图像采用二维图像目标识别定位方法确定在第二像素坐标系下待识别目标最终位置，之后还包括：
根据所述坐标系转换参数和所述相机内参数，将第二像素坐标系下待识别目标最终位置转化为工具坐标系下的待识别目标最终位置；
根据所述工具坐标系下的待识别目标最终位置控制所述机械臂对目标进行操作。


6.一种基于点云和图...

【专利技术属性】
技术研发人员：高会军，符永清，何怡，林伟阳，曲东升，李长峰，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙;23