基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法技术

本发明专利技术公开了一种基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法，用于钢铁库区内自动化装卸钢卷作业。通过对扫描获得的原始三维点云数据进行坐标转换与直通滤波，分离出包含车厢平面、钢卷、鞍座的点云团；通过随机采样一致性算法分离出车厢平面与钢卷，通过边缘检测与Meanshift聚类分割算法将黏连的多个钢卷点云团分割为单个独立的钢卷点云数据；通过结合多尺度特征提取方法的Pointnet神经网络对钢卷点云进行分类，本方法通过数据预处理避免了含有杂物的原始三维点云数据对于钢卷识别的影响，提高了识别的效率，通过利用多尺度网络特征提取，增强了Pointnet网络对于点云局部特征信息的提取能力，提高了分类的精度。

【技术实现步骤摘要】
基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法
本专利技术涉及钢铁厂无人化行车系统控制，具体涉及一种结合了多尺度特征提取与Pointnet神经网络对目标钢卷进行识别与分类的方法。
技术介绍
为提高钢铁厂库区钢卷装卸的作业效率，同时为避免库区高危作业环境产生的操作风险，钢铁厂库区的无人化操作管理正逐渐成为自动化领域的重要研究趋势。其中通过识别钢卷以正确执行自动装卸钢卷作业，更是整个钢厂无人化操作系统中极为关键的工序之一。目前的方法主要是利用三维扫描仪扫描载钢卷卡车，通过生成三维点云数据进行传统的手工点云属性判别与分类处理。此方法直接基于圆柱体拟合算法进行钢卷识别，由于采集的三维点云数据存在较多无用点云区域，如卡车车厢平面与地面点云，且鞍座与钢卷互相遮挡程度较大，所以此方法对于钢卷的有效识别与分类精度低，效率差，具有一定的局限性。
技术实现思路
专利技术目的：针对现有的钢铁库区三维激光扫描系统无法自主预知钢卷点云块的属性，仍需进行传统的手工点云属性判别的问题，本专利技术提出一种基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法，有效提高了钢卷识别的效率和分类的精度。技术方案：一种基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法，包括以下步骤：S1、利用扫描仪对载钢卷卡车车厢进行扫描，对扫描获得的原始三维点云数据进行坐标转换与直通滤波处理，分离出仅包含车厢平面、钢卷、鞍座的点云团；S2、基于仅包含车厢平面、钢卷、鞍座的点云团，通过随机采样一致型算法进行平面模型拟合与圆柱体模型拟合，剔除车厢平面点云，得到含钢卷和鞍座的点云团；S3、基于步骤S2所得点云团，通过边缘检测与聚类分割算法将黏连的多个目标点云团分割为彼此独立的单个目标的点云数据；S4、将彼此独立的单个目标点云数据输入到结合多尺度特征提取的Pointnet神经网络模型中进行分类，通过选取三个不同尺度，对输入进的单个目标点云数据中的每个点云选取邻域，利用Pointnet神经网络提取邻域特征作为每个点的局部特征，将不同尺度下的局部特征通过全连接层组合，并与利用Pointnet神经网络提取的全局特征结合，给出特征分类结果。其中，所述步骤S1具体包括：S11、启动库区中卡车通道区域上方的三维激光扫描仪，获取卡车车厢点云的原始极坐标数据；S12、将原始极坐标数据通过立体几何换算还原成笛卡尔坐标系的三维点云数据；S13、对三维点云数据进行直通滤波，滤除车厢外的无关区域平面，仅保留车厢平面、钢卷、鞍座的点云数据。进一步地，所述步骤S3中边缘检测包括：基于剔除车厢平面点云后的点云团，对点云进行边缘检测，检测并分离各个黏连状态的目标点云间的边缘点云，得到彼此分离的目标点云团。所述步骤S3中聚类分割算法实施如下：基于彼此分离的目标点云团，根据扫描仪安装高度、扫描密度，设置点云团聚类半径和聚类阈值，对目标点云团进行Meanshift聚类分割，将多个彼此分离的目标点云团分割成彼此独立的单个目标的有效点云。进一步地，所述对目标点云团进行Meanshift聚类分割，将多个彼此分离的目标点云团分割成彼此独立的单个目标的有效点云包括以下步骤：S31、遍历彼此分离的目标点云团，随机选取某个点作为聚类中心c；S32、根据目标点云团密度设置聚类半径r，聚类阈值r1，找出聚类中心的聚类半径内所有点，并把点云集中的其他点对该聚类中心的访问频率加1；S33、计算Meanshift向量MS(x)，执行一次目标点云的聚类过程，把所有待处理的点对该聚类中心点的访问频率加1，通过迭代使算法收敛于一点，该点密度函数梯度为0；S34、判断如果收敛时当前集合点c与其他集合点c1的中心距离小于r1，则合并这两个集合点，否则把c当做新的聚类中心点，至此完成一次Meanshift迭代；S35、重复S32-S34，直到所有点被标记访问，根据每个聚类中心对每个点的访问频率，取访问频率最大的中心点为该点的归属聚类中心。进一步地，所述结合多尺度特征提取的Pointnet神经网络模型包括多尺度特征提取网络和Pointnet神经网络，根据该模型对输入的钢卷点云数据进行分类的过程如下：S41、基于输入的单个目标点云数据，在原Pointnet神经网络中通过空间变换矩阵T-Net网络进行输入点云旋转变换，在多尺度特征提取网络中通过T-Net网络进行点云旋转变换；S42、基于旋转变换后的点云数据，在Pointnet神经网络中应用两层感知器mlp提取点云特征，得到输入点云的初步特征，在多尺度特征提取网络中设置三层感知器mlp与最大池化层进行局部特征提取，得到三个尺度下的局部特征；S43、基于输入点云的初步特征，在Pointnet神经网络中进行T-Net点云旋转变换和mlp特征提取，得到第二维度特征；基于输入点云的第二维度特征，通过点对称函数进行信息融合，生成全局特征；S44、基于输入点云的全局特征结合步骤S42得到的三个尺度的局部特征，通过全连接层连接，并利用三层感知器mlp进行学习与分类，输出每个类别的判别结果与概率，以此实现分类。有益效果：本专利技术通过结合多尺度特征提取与Pointnet分类网络，提升了对于钢卷点云局部特征的识别精度。并通过结合随机采样一致性算法，边缘检测与Meanshift聚类分割等算法对原始三维点云数据进行预处理，避免含有杂物的原始点云数据对于钢卷识别的影响，提高了识别的效率。本专利技术可实现钢铁厂库区钢卷的精准识别与分类。附图说明图1为本专利技术的系统作业流程图；图2(a)为三维扫描仪扫描获取的原始点云图；图2(b)为经随机采样一致性算法处理后的仅含钢卷数据的点云图；图2(c)为利用边缘检测方法获取的钢卷稀疏边缘图；图2(d)为利用边缘检测方法获取的彼此分离的钢卷点云团图；图2(e)为通过Meanshift算法获取的单个独立的钢卷点云数据图；图2(f)为标准鞍座点云图；图3为结合多特征提取的Pointnet神经网络结构图。具体实施方式下面结合具体实施方式和附图对本专利技术的技术方案作进一步的介绍。本实施例以钢铁厂冷轧库区库区为作业背景，以距离地面8m高的三维扫描仪坐标系为原点，提出一种基于多尺度特征提取与Pointnet神经网络的钢卷识别与定位方法，该方法的软件设备主要包括：Ubuntu16.04操作系统，CUDA9计算平台，tensorflow1.9.0软件库，参照图1，该方法包括以下步骤：步骤S1，通过将载有若干钢卷的卡车停泊至指定停车位，开启停车位上方安装的三维激光扫描仪进行扫描，系统上位机接收并处理采集到的三维点云原始数据。具体步骤如下：S11、启动卡车停泊区域上方的三维激光扫描仪，获取卡车车厢点云的原始极坐标数据，见图2(a)；S12、将原始极坐标数据通过立体几何换算还原成本文档来自技高网...

【技术保护点】
1.一种基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法，其特征在于，包括以下步骤：/nS1、利用扫描仪对载钢卷卡车车厢进行扫描，对扫描获得的原始三维点云数据进行坐标转换与直通滤波处理，分离出仅包含车厢平面、钢卷、鞍座的点云团；/nS2、基于仅包含车厢平面、钢卷、鞍座的点云团，通过随机采样一致型算法进行平面模型拟合与圆柱体模型拟合，剔除车厢平面点云，得到含钢卷和鞍座的点云团；/nS3、基于步骤S2所得点云团，通过边缘检测与聚类分割算法将黏连的多个目标点云团分割为彼此独立的单个目标的点云数据；/nS4、将彼此独立的单个目标点云数据输入到结合多尺度特征提取的Pointnet神经网络模型中进行分类，通过选取三个不同尺度，对输入进的单个目标点云数据中的每个点云选取邻域，利用Pointnet神经网络提取邻域特征作为每个点的局部特征，将不同尺度下的局部特征通过全连接层组合，并与利用Pointnet神经网络提取的全局特征结合，给出特征分类结果。/n

【技术特征摘要】
1.一种基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法，其特征在于，包括以下步骤：
S1、利用扫描仪对载钢卷卡车车厢进行扫描，对扫描获得的原始三维点云数据进行坐标转换与直通滤波处理，分离出仅包含车厢平面、钢卷、鞍座的点云团；
S2、基于仅包含车厢平面、钢卷、鞍座的点云团，通过随机采样一致型算法进行平面模型拟合与圆柱体模型拟合，剔除车厢平面点云，得到含钢卷和鞍座的点云团；
S3、基于步骤S2所得点云团，通过边缘检测与聚类分割算法将黏连的多个目标点云团分割为彼此独立的单个目标的点云数据；
S4、将彼此独立的单个目标点云数据输入到结合多尺度特征提取的Pointnet神经网络模型中进行分类，通过选取三个不同尺度，对输入进的单个目标点云数据中的每个点云选取邻域，利用Pointnet神经网络提取邻域特征作为每个点的局部特征，将不同尺度下的局部特征通过全连接层组合，并与利用Pointnet神经网络提取的全局特征结合，给出特征分类结果。


2.如权利要求1所述的基于多尺度特征提取与Pointnet神经网络的钢卷点云识别与分类方法，其特征在于，所述步骤S1具体包括：
S11、启动库区中卡车通道区域上方的三维激光扫描仪，获取卡车车厢点云的原始极坐标数据；
S12、将原始极坐标数据通过立体几何换算还原成笛卡尔坐标系的三维点云数据；
S13、对三维点云数据进行直通滤波，滤除车厢外的无关区域平面，仅保留车厢平面、钢卷、鞍座的点云数据。


3.如权利要求1所述的基于多尺度特征提取与Pointnet神经网络的钢卷点云识别与分类方法，其特征在于，所述步骤S3中边缘检测包括：基于剔除车厢平面点云后的点云团，对点云进行边缘检测，检测并分离各个黏连状态的目标点云间的边缘点云，得到彼此分离的目标点云团。


4.如权利要求3所述的基于多尺度特征提取与Pointnet神经网络的钢卷点云识别与分类方法，其特征在于，所述步骤S3中聚类分割算法实施如下：基于彼此分离的目标点云团，根据扫描仪安装高度、扫描密度，设置点云团聚类半径和聚类阈值，对目标点云团进行Meanshift聚类分割，将多个彼此分离的目标点云团分割成彼此独立的单个目标的有效点云。


5.如权利要求4所述的基于多尺度特征提取与Pointnet神经网络的钢卷点云识别与分类方法，其特征在于，所述对目标点云团进行Meanshift聚类分割，将多个彼此分离的目标点云团分割成彼此独立的单个目标的有效点云包括以下步骤：
S31、遍历彼此分离的目标点云团，随机选取某个点作为聚类中心c；
S32、根据...

【专利技术属性】
技术研发人员：牛丹，刘子璇，李奇，陈夕松，魏双，孙长银，
申请(专利权)人：东南大学，南京科远智慧科技集团股份有限公司，南京闻望自动化有限公司，
类型：发明
国别省市：江苏;32