面向机器人视觉处理系统的三维点云数据处理方法技术方案

本发明专利技术提供面向机器人视觉处理系统的三维点云数据处理方法，包括：S1：使用最远点采样方法对点云进行下采样得到中心点，将点云尺寸按比例降低；S2：以采样得到的中心点为中心，利用k近邻方法在原点云中搜索邻居点；S3：将邻居点三维坐标、邻居点特征拼接为邻居特征矩阵M1；S4：对邻居特征矩阵M1进行分组窗口归一化得到特征矩阵M2；S5：将特征矩阵M2预处理为特征矩阵M3；S6：将特征矩阵M3与中心点特征进行拼接得到特征矩阵M4；S7：利用多层感知机网络和最大池化函数对特征矩阵M4进行特征提取，将提取特征作为新的中心点特征。本发明专利技术解决了现有特征增强方案计算效率低、采样精度不足的问题。题。题。

【技术实现步骤摘要】
面向机器人视觉处理系统的三维点云数据处理方法


[0001]本专利技术属于一般的图像数据处理领域，具体说是一种针对三维点云数据的处理方法。

技术介绍

[0002]随着现代人工智能技术的发展，机器人在生活中扮演着更加重要的作用。安保机器人、扫地机器人等已经进入大众视野。机器人与现实世界的交互主要通过图像与三维点云两种数据，三维点云数据是对物体坐标的真实记录，准确处理三维点云数据是机器人准确判断周围环境的重要途径。
[0003]在实际工作场景中，机器人通过装载的毫米波雷达或者激光雷达等设备采集点云数据，并通过系统对点云数据进行分析，从而获得行动指令。由于雷达设备直接获得的点云数据尺寸较大，为了提高系统处理速度，需要在系统处理前对点云数据进行下采样等预处理工作。
[0004]点云数据的处理不可避免的要用到下采样技术来降低点云尺寸，以提高模型的处理效率，降低机器人的处理器成本和服务器的响应速度。在下采样之后需要对采样得到的点云进行特征加强，以弥补下采样带来的信息损失。特征加强过程首先需要获得邻居点，一般使用k近邻方法和球形邻域查询方法。球形邻域查询方法得到的局部区域具有固定的尺寸，但是无法解决不同部位密度不同的问题，从而导致有的区域邻居点过多而有的区域邻居点过少的问题，并且模型处理速度较低。而k近邻方法得到固定的邻居点数目，但无法保证得到的局部区域具有固定的尺寸，给模型处理带来困难。

技术实现思路

[0005]本专利技术目的是提供一种计算效率高、信息利用率高、参数量少的点云数据处理方法，以克服上述点云处理方法的缺陷。
[0006]本专利技术为实现上述目的所采用的技术方案是：一种面向机器人视觉处理系统的三维点云数据处理方法，包括以下步骤：
[0007]S1：通过雷达设备采集环境点云，使用最远点采样方法对获取的环境点云进行下采样得到中心点；
[0008]S2：对于下采样得到的每个中心点，以中心点为中心，利用k近邻方法在原点云中搜索邻居点；
[0009]S3：将邻居点三维坐标、邻居点特征拼接为邻居特征矩阵M1；
[0010]S4：对邻居特征矩阵M1进行分组窗口归一化得到特征矩阵M2，用于将邻居点区分为用于提供纹理信息或提供空间信息；
[0011]S5：利用第一多层感知机网络将特征矩阵M2预处理为特征矩阵M3，完成邻居点的特征处理；
[0012]S6：对于每个中心点，将特征矩阵M3与中心点特征进行拼接得到特征矩阵M4；
[0013]S7：利用第二多层感知机网络和最大池化函数对特征矩阵M4进行特征提取，将提取的表示纹理信息或空间信息的特征作为新的中心点特征。
[0014]所述点云表征为包含多个特征的多维特征矩阵，所述特征为三维空间坐标、RGB特征和反射强度中的一种。
[0015]所述分组窗口归一化通过函数实现：
[0016][0017][0018]其中，表示归一化结果，即特征矩阵M2，P是三维点云，FPS表示最远点采样方法，x
i
是下采样得到的中心点坐标，KNN表示k近邻方法，x
i,j
表示第i个中心点x
i
的第j个邻居点，即邻居特征矩阵M1，ε是常数，σ为中间变量，m代表K个邻居点中距离中心点距离小于阈值的m个邻居点，d表示特征维度，K为中心点x
i
的邻居点个数；
[0019]第1～m个邻居点包含的特征构成纹理信息，第(m+1)～K个邻居点包含的特征构成空间信息。
[0020]所述将特征矩阵M2预处理为特征矩阵M3通过下式实现：
[0021]M3＝LB(M2)
[0022]其中，LB是不含激活函数的多层感知机网络，网络的输出特征维度与中心点特征维度相同。
[0023]所述第一多层感知机网络和第一多层感知机网络的训练，包括以下步骤：
[0024]用于训练的数据集包括机器人采集到的点云数据和对应的表示目标类别的标签数据，所述点云数据包含三维坐标、以及额外的RGB特征或反射强度；
[0025]所述第一多层感知机网络的输入为归一化后的特征矩阵M2，输出为包含优化后中心点特征的点云，即特征矩阵M3；
[0026]所述第二多层感知机网络的输入为归一化后的特征矩阵M4，输出为包含优化后中心点特征的点云。
[0027]所述利用第二多层感知机网络和最大池化函数对特征矩阵M4进行特征提取，包括以下步骤：
[0028]将特征矩阵M4先经过第二多层感知机网络进行特征学习，再利用最大池化函数进行特征聚合，得到用于表示纹理信息或空间信息的特征。
[0029]当实时获取环境点云时，通过步骤S1～S7进行实时在线数据处理，得到新的中心点特征用于通过第三多层感知机网络获取每个点的目标类别标签以表示预测类别。
[0030]所述第三多层感知机网络在训练时，输入为新的中心点特征，输出为每个点的目
标类别标签以表示预测类别。
[0031]一种面向机器人视觉处理系统的三维点云数据处理系统，包括：
[0032]点云处理模块，用于使用最远点采样方法对通过雷达设备采集的环境点云进行下采样得到中心点；
[0033]邻居点搜索模块，用于对于下采样得到的每个中心点，以中心点为中心，利用k近邻方法在原点云中搜索邻居点；将邻居点三维坐标、邻居点特征拼接为邻居特征矩阵M1；
[0034]窗口归一化模块，用于对邻居特征矩阵M1进行分组窗口归一化得到特征矩阵M2，用于将邻居点区分为用于提供纹理信息或提供空间信息；
[0035]特征预处理模块，用于利用第一多层感知机网络将特征矩阵M2预处理为特征矩阵M3，完成邻居点的特征处理；
[0036]特征拼接模块，用于对于每个中心点，将特征矩阵M3与中心点特征进行拼接得到特征矩阵M4；
[0037]特征提取模块，用于利用第二多层感知机网络和最大池化函数对特征矩阵M4进行特征提取，将提取的表示纹理信息或空间信息的特征作为新的中心点特征。
[0038]本专利技术具有以下有益效果及优点：以k近邻方法为基础，针对k近邻方法得到的邻域没有固定体积的特点，提出合适的归一化方法对体积进行处理，并利用预处理模块对邻居点特征进行处理，从而实现对点云数据进行下采样后的数据增强和信息弥补，提高对环境点云的识别精度，具有以下优点：
[0039]1.基于k近邻方法进行改进，具有很高的处理速度；
[0040]2.窗口归一化模块有效的解决了k近邻方法得到的邻域没有固定体积的问题，提高了下采样的效果，降低了采样信息损失，有利于后续的信息提取；
[0041]3.通过分组窗口归一化的分组操作丰富了采样信息，提供纹理信息、空间信息等多种有效信息，提高了输出特征的信息多样性；解决了不同部位密度不同的问题。
[0042]4.预处理模块的LB很好的平衡了局部和全局信息，进一步提高了采样效果，并且其十分精简，计算效率很高。
附图说明
[0043]图1本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.面向机器人视觉处理系统的三维点云数据处理方法，其特征在于：包括以下步骤：S1：通过雷达设备采集环境点云，使用最远点采样方法对获取的环境点云进行下采样得到中心点；S2：对于下采样得到的每个中心点，以中心点为中心，利用k近邻方法在原点云中搜索邻居点；S3：将邻居点三维坐标、邻居点特征拼接为邻居特征矩阵M1；S4：对邻居特征矩阵M1进行分组窗口归一化得到特征矩阵M2，用于将邻居点区分为用于提供纹理信息或提供空间信息；S5：利用第一多层感知机网络将特征矩阵M2预处理为特征矩阵M3，完成邻居点的特征处理；S6：对于每个中心点，将特征矩阵M3与中心点特征进行拼接得到特征矩阵M4；S7：利用第二多层感知机网络和最大池化函数对特征矩阵M4进行特征提取，将提取的表示纹理信息或空间信息的特征作为新的中心点特征。2.根据权利要求1所述的面向机器人视觉处理系统的三维点云数据处理方法，其特征在于，所述点云表征为包含多个特征的多维特征矩阵，所述特征为三维空间坐标、RGB特征和反射强度中的一种。3.根据权利要求1所述的面向机器人视觉处理系统的三维点云数据处理方法，其特征在于，所述分组窗口归一化通过函数实现：在于，所述分组窗口归一化通过函数实现：其中，表示归一化结果，即特征矩阵M2，P是三维点云，FPS表示最远点采样方法，x
i
是下采样得到的中心点坐标，KNN表示k近邻方法，x
i,j
表示第i个中心点x
i
的第j个邻居点，即邻居特征矩阵M1，ε是常数，σ为中间变量，m代表K个邻居点中距离中心点距离小于阈值的m个邻居点，d表示特征维度，K为中心点x
i
的邻居点个数；第1～m个邻居点包含的特征构成纹理信息，第(m+1)～K个邻居点包含的特征构成空间信息。4.根据权利要求1所述的面向机器人视觉处理系统的三维点云数据处理方法，其特征在于，所述将特征矩阵M2预处理为特征矩阵M3通过下式实现：M3＝LB(M2)其中，LB是不含激活函数的多层感知机网络，网络的输出特征维度与中心点特征维度相同。
5.根据权利要求1所述的面向机器人视觉处理系统的三维点云数据处理方...

【专利技术属性】
技术研发人员：杨帆，石升，韩冰，于晓龙，佟琨，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：