一种光伏板位姿识别方法技术

本发明专利技术提供了一种光伏板位姿识别方法

【技术实现步骤摘要】
一种光伏板位姿识别方法、装置、安装机器人


[0001]本专利技术涉及太阳能光伏发电领域，尤指一种光伏板位姿识别方法
、
装置
、
安装机器人
。

技术介绍

[0002]光伏板自动安装机器人在自动抓取光伏板时，需要沿垂直于光伏板平面的方向，夹爪平行于光伏板平面，但光伏板放置位置和姿态不固定，现场的日照环境也在变化，准确识别光伏板位姿从而准确抓取光伏板成为一项技术难题
。

技术实现思路

[0003]本专利技术的目的是提供一种光伏板位姿识别方法
、
装置
、
安装机器人，准确获取光伏板在空间中的六自由度位姿
。
[0004]具体的，本专利技术提供的技术方案如下：
[0005]本专利技术提供一种光伏板位姿识别方法，包括：
[0006]控制深度相机移动照射待夹取光伏板，采集所述深度相机视野中的
RGB
图像信息和深度点云信息；
[0007]通过深度学习实例分割技术对所述
RGB
图像信息进行分割，获取所述待夹取光伏板的灰度图片；
[0008]对所述灰度图片进行边缘轮廓检测及多边形拟合，获取所述待夹取光伏板拟合后的四边形图像及四边形角点坐标；
[0009]对所述待夹取光伏板拟合后的四边形角点坐标及预设光伏板图像模板的4个角点坐标进行透视变换，获得所述待夹取光伏板的透视矩阵；
[0010]通过所述待夹取光伏板中的深度点云信息
、/>拟合后的四边形图像
、
所述待夹取光伏板的透视矩阵和所述预设光伏板图像模板的深度点云信息计算所述待夹取光伏板的六自由度位姿
。
[0011]在上述实施方式中，通过深度相机照射待夹光伏板获取
RGB
图像信息和深度点云信息，采用深度学习实例分割技术分割
RGB
图像信息得到灰度图片并去除光伏板放置位置姿态和光照影响，对灰度图片进行边缘轮廓检测和四边形拟合，摒弃光伏板边缘不稳定点，使识别结果更稳定，最后通过奇异值分解法计算出待夹取光伏板的六个自由度位姿数据，结合了图像信息和深度点云信息，输出空间
X、Y、Z
位置信息和俯仰角
、
偏航角
、
翻滚角三个角度信息，准确识别光伏板位姿
。
[0012]在一些实施方式中，所述的对所述灰度图片进行边缘轮廓检测和四边形拟合，包括：
[0013]对所述待夹取光伏板的灰度图片进行边缘滤波，并将筛选出的最大边缘轮廓作为所述待夹取光伏板的边缘轮廓；
[0014]对所述边缘轮廓进行多边形拟合，并去除分割后的不平滑误差，得到多边形图像；
[0015]滤除所述多边形图像边缘的边和点，并将所述多边形图像相邻的边延长相交，获取所述待夹取光伏板的四边形图像及四边形角点坐标
。
[0016]在上述实施方式中，通过图像边缘滤波技术，得到光伏板在分割标记图片中的边缘轮廓；通过多边形拟合技术拟合上一步的边缘轮廓，得到多边形和多边形角点；滤除在图像边缘的多边形边和角点，利用相邻线相交重新得到角点和边，拟合成四边形，摒弃了光伏板边缘的不稳定点，识别到的光伏板位姿更加稳定
。
[0017]在一些实施方式中，所述的通过所述待夹取光伏板中的深度点云信息
、
拟合后的四边形图像
、
所述待夹取光伏板的透视矩阵和所述预设光伏板图像模板的深度点云信息计算所述待夹取光伏板的六自由度位姿，包括步骤：
[0018]通过所述待夹取光伏板的透视矩阵，筛选所述待夹取光伏板的深度点云信息中的有效点云，获取所述待夹取光伏板的有效深度点云集
。
[0019]在一些实施方式中，还包括：
[0020]获取所述预设光伏板图像模板的采样点；
[0021]通过所述透视矩阵求取所述拟合后的四边形图像中与所述采样点对应的图像点；
[0022]在所述深度点云信息中查找与所述图像点对应的点云数据，剔除所述点云数据中的无效点云数据，获得待夹取光伏板的有效深度点云数据；
[0023]根据所述有效深度点云数据及所述预设光伏板图像模板的点云数据，建立矩阵方程，并通过奇异值分解，获得所述待夹取光伏板空间中的六个自由度位姿数据
。
[0024]在一些实施方式中，所述剔除所述点云数据中的无效点云数据，获得所述待夹取光伏板的有效深度点云数据，包括步骤：
[0025]判断所述深度点云数据中是否存在无效深度点；
[0026]若存在无效深度点，记录其序号，且在所述预设光伏板图像模板的点云数据及所述待夹取光伏板的点云数据，剔除所述无效深度点对应的无效点云数据，获得有效的所述预设光伏板图像模板的点云数据和所述待夹取光伏板的点云数据
。
[0027]本专利技术还提供一种光伏板位姿识别装置，包括：
[0028]采集模块，用于控制深度相机移动照射待夹取光伏板，采集所述深度相机视野中的
RGB
图像信息和深度点云信息；
[0029]分割模块，用于通过深度学习实例分割技术对所述
RGB
图像信息进行分割，获取所述待夹取光伏板的灰度图片；
[0030]拟合模块，用于对所述灰度图片进行边缘轮廓检测及多边形拟合，获取所述待夹取光伏板拟合后的四边形图像及四边形角点坐标；
[0031]获取模块，用于对所述待夹取光伏板拟合后的四边形角点坐标及预设光伏板图像模板的4个角点坐标进行透视变换，获得所述待夹取光伏板的透视矩阵；
[0032]计算模块，用于通过所述待夹取光伏板中的深度点云信息
、
拟合后的四边形图像
、
所述待夹取光伏板的透视矩阵和所述预设光伏板图像模板深度点云信息计算所述待夹取光伏板的六自由度位姿
。
[0033]在一些实施方式中，所述拟合模块，包括：
[0034]滤波筛选单元，用于对所述待夹取光伏板的灰度图片进行边缘滤波，并将筛选出的最大边缘轮廓作为所述待夹取光伏板的边缘轮廓；
[0035]拟合分割单元，用于对所述边缘轮廓进行多边形拟合，并去除分割后的不平滑误差，得到多边形图像；
[0036]滤波拟合单元，用于滤除所述多边形图像边缘的边和点，并将所述多边形图像相邻的边延长相交，获取所述待夹取光伏板四边形图像及四边形角点坐标
。
[0037]在一些实施方式中，所述计算模块，包括：
[0038]获取单元，用于通过所述待夹取光伏板的透视矩阵，筛选所述待夹取光伏板的深度点云信息中的有效点云，获取所述待夹取光伏板的有效深度点云集
。
[0039]在一些实施方式中，所述计算模块，还包括：
[0040]所述获取单元，还用于获取所述预设光伏板图像模板的采样点；
[0041]采样单元，用于通过所述透视矩阵求取所述拟合后的四边形图像中与所述采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种光伏板位姿识别方法，其特征在于，包括步骤：控制深度相机移动照射待夹取光伏板，采集所述深度相机视野中的
RGB
图像信息和深度点云信息；通过深度学习实例分割技术对所述
RGB
图像信息进行分割，获取所述待夹取光伏板的灰度图片；对所述灰度图片进行边缘轮廓检测及多边形拟合，获取所述待夹取光伏板拟合后的四边形图像及四边形角点坐标；对所述待夹取光伏板拟合后的所述四边形角点坐标及预设光伏板图像模板的4个角点坐标进行透视变换，获得所述待夹取光伏板的透视矩阵；通过所述待夹取光伏板中的深度点云信息
、
拟合后的四边形图像
、
所述待夹取光伏板的透视矩阵和所述预设光伏板图像模板的深度点云信息计算所述待夹取光伏板的六自由度位姿
。2.
根据权利要求1所述光伏板位姿识别方法，其特征在于，所述的对所述灰度图片进行边缘轮廓检测及多边形拟合，包括步骤：对所述待夹取光伏板的灰度图片进行边缘滤波，并将筛选出的最大边缘轮廓作为所述待夹取光伏板的边缘轮廓；对所述边缘轮廓进行多边形拟合，并去除分割后的不平滑误差，得到多边形图像；滤除所述多边形图像边缘的边和点，并将所述多边形图像相邻的边延长相交，获取所述待夹取光伏板的四边形图像及四边形角点坐标
。3.
根据权利要求1所述光伏板位姿识别方法，其特征在于，所述的通过所述待夹取光伏板中的深度点云信息
、
拟合后的四边形图像
、
所述待夹取光伏板的透视矩阵和所述预设光伏板图像模板的深度点云信息计算所述待夹取光伏板的六自由度位姿，包括步骤：通过所述待夹取光伏板的透视矩阵，筛选所述待夹取光伏板的深度点云信息中的有效点云，获取所述待夹取光伏板的有效深度点云集
。4.
根据权利要求3所述光伏板位姿识别方法，其特征在于，还包括步骤：获取所述预设光伏板图像模板的采样点；通过所述透视矩阵求取所述拟合后的四边形图像中与所述采样点对应的图像点；在所述深度点云信息中查找与所述图像点对应的点云数据，剔除所述点云数据中的无效点云数据，获得所述待夹取光伏板的有效深度点云数据；根据所述有效深度点云数据及所述预设光伏板图像模板的点云数据，建立矩阵方程，并通过奇异值分解，获得所述待夹取光伏板空间中的六个自由度位姿数据
。5.
根据权利要求4所述光伏板位姿识别方法，其特征在于，所述剔除所述点云数据中的无效点云数据，获得所述待夹取光伏板的有效深度点云数据，包括步骤：判断所述深度点云数据中是否存在无效深度点；若存在无效深度点，记录其序号，且在所述预设光伏板图像模板的点云数据及所述待夹取光伏板的点云数据，剔除所述...

【专利技术属性】
技术研发人员：王士涛，张赛，
申请(专利权)人：湖州丽天智能科技有限公司，
类型：发明
国别省市：