【技术实现步骤摘要】
本专利技术涉及计算机视觉的点云、图像分割，尤其是一种基于混合增强和实例信息学习的点云半监督全景分割方法。
技术介绍
1、随着计算硬件和信息处理设备的高速发展，以及人们在军事和生活中对三维世界精确理解的需求，具有潜力的点云分割技术已被广泛应用于自动驾驶、机器人和工业制造等各个领域，极大程度便利了人们的日常生活，并增强了军事、医疗水平。然而，点云数据十分复杂且数据量庞大，其标注工作异常困难。因此，如何利用少量的有标签数据尽可能提高分割网络的性能，成为人们亟需解决的一个重要的研究问题。而半监督学习，即利用部分已有全标注，部分未标注数据的学习训练方法，就是解决这一问题的重要方法之一。
2、然而，先前的半监督点云分割方法存在以下缺陷：
3、一是没有充分挖掘多模态之间的隐藏标签，由于真值标签数据有限，先前的半监督模型生成了伪标签作为训练的真实标签。然而，当网络没有完全训练时，这样的伪标签有时是不可靠且质量较差的。在基于mean-teacher网络架构的半监督方法中，使用有标签和无标签混合形成新的数据增强点云，然后利用教师网络的预测当作真值用于监督学生网络输出，会导致点云训练样本的置信度不高，对网络精度造成一定负面影响。二是先前的多模态点云模型，对两个模态的特征处理一视同仁，没有充分发挥图像模态在实例检测和分割上的优势，尽管图像在检测和定位对象方面具有出色的能力，在某些情况下甚至优于点云。
技术实现思路
1、本专利技术的目的是针对现有技术的不足而提出的一种基于混合增强和实
2、本专利技术基于半监督学习，提出一种圆柱体混合点云数据增强方法，以提供更多具有多样性的训练样本；并针对图像分支引入实例规模-边界信息学习模块，使得主干网络融合2d实例边界信息，从而提高网络半监督分割的性能和效果。
3、实现本专利技术目的的具体技术方案是：
4、一种基于混合增强和实例信息学习的点云半监督全景分割方法，整体训练流程包括网络预训练、伪标签估计、网络再训练三个阶段，分别对应步骤1至4、步骤5、步骤6；网络框架分为点云分支、图像分支、全景分割网络三部分，分别对应步骤2、步骤3和步骤4；所述方法具体包括下述步骤：
5、步骤1：数据集准备与预处理
6、1-1：收集待训练的图像-点云数据对，每一对点云和图像帧，要满足时间对应，即同一时刻获取；具体地，点云数据至少包括四个指标信息，即空间坐标(x，y，z)及亮度；图像数据是长为h和宽为w的像素图，每个像素点包含rgb值；为实现全景分割，点云数据要提供每个点的语义标签和实例标签，而图像不需要标签；点云数据要包含将图像-点云数据对按照8∶2比例划分训练集与测试集；再准备若干无标签数据；
7、1-2：图像模态实例标签预处理；将点云的标签根据坐标(x，y，z)及相机内外参，投影到图像的像素点上，根据实例所属的像素点的边缘点，框出矩形框作为图像的实例弱标签；
8、1-3：实例集预处理；根据点云数据的每一帧的实例标签，抽取并记录训练集中所有实例的点云坐标和亮度，作为实例集，待训练时做实例增强；
9、步骤2：三维分支数据增强和特征提取
10、2-1：在训练过程中对于训练数据中的点云数据，做实例增强后，根据设定的长宽高[gx，gy，gz]进行圆柱体体素化；体素化后，记录原始点云序号与体素网格序号的对应关系，用于后续计算体素或点级特征、还原点级预测标签；每个点对应的圆柱体素网格下标记为索引[vx，vy，vz]；另外在网络计算特征的过程中，体素的特征为体素内所有点的特征平均值；
11、2-2：以procylmix＝25％的概率做混合点云数据增强；在训练集中随机抽取另一点云，进行圆柱体体素化，与训练数据的点云做圆柱体混合点云数据增强；具体地，对于训练数据中的点云p1和抽取的点云p2，首先沿x、y、z轴将点云的体素网格划分为大小为[rx，ry，rz]的混合区域，rx是指混合区域沿着x轴的块数；记录每个点对应每个混合区域的下标将两个点云的混合区域按以下式子进行穿插混合：
12、
13、
14、δ(rx)表示x轴上第rx个混合区域是否为保留区域的判断函数，δ(ry)和δ(rz)同理，除二余一则为true，否则则为false；为判断矩阵，用于判断坐标(x，y，z)的点是否被保留下来用于生成混合点云；
15、数据增强的核心思想是希望两个点云进行充分地穿插地混合，即对于混合后的每一个混合区域，其上下左右四个方向的混合区域都是来自另一个点云，由判断矩阵对两个点云进行判断和混合；混合完成，获得混合数据增强之后的点云记为pmix；
16、2-3：将混合后的点云输入至点云分支主干网络进行特征编码；点云主干网络基于cylinder3d网络构建；具体为3层mlp，一层用于维度通道数压缩的线性层；完成计算点云特征，记为fpt；
17、步骤3：二维分支学习实例边界信息和特征提取
18、3-1：对于训练数据中的图像数据，输入图像到图像分支主干网络；图像主干网络基于swiftnet构建，具体为resnet结构的4层卷积层；
19、3-2：为实例规模-边界信息学习模块训练一个实例检测网络；根据数据预处理过程中点云投影到图像获得的图像弱标签，即实例矩形框，训练一个图像检测头，使得网络在推理过程中预测2d实例框并学习实例信息；具体地，输入图像数据到检测网络faster r-cnn中，输出预测的语义类别和实例id，以预处理获得的图像弱标签为真值标签进行训练，训练平台为mmdetection；完成实例检测网络训练后冻结参数；
20、3-3：在实例规模-边界信息学习模块中，编码和融合实例的尺寸和边界信息；输入图像到检测网络，输出预测实例边界框；对实例边界框框的四个角点和中心点进行高斯热力图编码，转化为实例边界框热力图融合到图像主干网络中；具体地，在图像二维像素坐标系内，对于坐标为(h，w)的实例边界框角点，任一像素坐标为(m，n)处对应的实例边界框热力图特征值计算公式如下，
21、
22、
23、dmn为角点到像素的距离，dmn与高斯半径r的平方的比值作为高斯距离，高斯热力值h(m，n)为e的高斯距离次方；其中，四个角点的高斯半径取为5，实例框中心点的高斯半径取为实例框的宽度的用于表征实例的规模-尺寸大小；
24、3-4：将实例高斯热力图融合到图像分支主干网络中，与3-1的图像特征进行融合获得带有实例边缘和大小信息的图像特征，融合后完成计算图像特征，记为fim；
25、步骤4：图像-点云多模态特征本文档来自技高网...
【技术保护点】
1.一种基于混合增强和实例信息学习的点云半监督全景分割方法，其特征在于，所述方法具体包括下述步骤：
【技术特征摘要】
1.一种基于混合增强和实例信息学习的点云半监督全景...
【专利技术属性】
技术研发人员：谭鑫，陈昱君，谢源，张志忠，曲延云，彭勇，范超杰，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。