一种激光雷达高光谱点云图像识别方法技术

一种激光雷达高光谱点云图像识别方法，涉及激光雷达识别技术领域，针对现有技术中通过小尺寸图像减少模型的计算量时，会导致模型准确率下降的问题，本申请本申请通过减少输入图像的空间大小尺度来减少网络的计算量，在输入的压缩图像上实现目标检测任务，解决复杂算法在移动设备等内存资源有限的硬件上不能实时运行的问题。本申请使得网络运算量大幅降低，并且能够保证预测准确率；使得缩略特征图能够提取到更多关键信息，使得预测准确率进一步提高。本申请解决了现有高光谱点云图像识别方法实施复杂、难以泛化、准确率低的问题，促进了轻量化图像识别技术的发展，为安防监控、人机交互等系统的智能化发展提供了一定的技术支撑。互等系统的智能化发展提供了一定的技术支撑。互等系统的智能化发展提供了一定的技术支撑。

【技术实现步骤摘要】
一种激光雷达高光谱点云图像识别方法


[0001]本专利技术涉及激光雷达识别
，具体为一种激光雷达高光谱点云图像识别方法。

技术介绍

[0002]近几年，不少车企纷纷推出智能车型，落地L2～L4等级的辅助驾驶技术，提供自动泊车、自动巡航、低速自动驾驶功能；另外还有许多机构在无人车、自动驾驶船舶等领域取得不错的研究成果。这些都得益于“自动驾驶”技术的发展，为智能交通创造了更多的可能。在自动驾驶系统中，激光雷达作为环境感知设备，其采集的点云数据对三维目标检测、反馈周围是否有障碍物、距离前车有多远等起着重要作用。
[0003]在过去的十几年中，卷积神经网络在许多计算机视觉任务(如目标检测、语义分割和人体姿态估计等)中取得了一系列令人瞩目的结果。得益于硬件条件的进步，人们开始通过设计更深层的网络结构以及使用大尺寸的输入图像来提高算法的准确率。但是越来越大的网络结构也带来了高额的计算量和内存占用，与此同时，由于智能手机、平板电脑等移动设备的资源限制，很难将这样复杂的算法部署到移动设备上。
[0004]为了加速人体姿态估计网络，现有工作将深的或宽的网络模型压缩为窄的(通道较少)或浅的(层数较少)网络，并使用知识蒸馏技术保持估计精度。虽然这种方法取得了一定的效果，但这样的方法在以下方面受到限制：(1)简易性。FCN强大的拟合能力与其精巧的结构高度耦合，因此有必要精心设计网络的收缩策略，以保持其结构特性。(2)普适性。现有的轻量级模型是通过直接减少沙漏网络(Hourglass)堆叠数量获得的，例如将一个反复堆叠8级的Hourglass缩减为反复堆叠4级。这种方法可以有效地应用于特定的堆叠结构网络，但不能推广到其他非堆叠结构的高级网络，例如SimpleBaseline和HRNet等。
[0005]降低深度模型计算复杂度的另一种有效的方法是在小尺寸图像上进行推断。随着特征图的空间大小减小，所需的运算量将随之减少。该方法可以解决基于网络压缩方法的局限性。首先，该方法只需简单地减小输入图像的尺寸，避免了削弱网络的表示能力。此外，该方法可以推广到任意高级模型，因为FCN允许任意尺寸的输入。然而，直接减小图像尺寸将不可避免地会丢失部分关键信息，从而导致最终估计性能急剧下降。

技术实现思路

[0006]本专利技术的目的是：针对现有技术中通过小尺寸图像减少模型的计算量时，会导致模型准确率下降的问题，提出一种激光雷达高光谱点云图像识别方法。
[0007]本专利技术为了解决上述技术问题采取的技术方案是：
[0008]一种激光雷达高光谱点云图像识别方法，其特征在于包括以下步骤：
[0009]步骤一：获取高光谱点云图像；
[0010]步骤二：利用训练好的目标检测网络对二维图像进行识别；
[0011]所述目标检测网络的训练过程为：
[0012]步骤二一：获取二维图像，并通通过监督缩略图像像素灰度值的分布与原始尺寸图像像素灰度值的分布之间的差距，得到与原始尺寸图像像素灰度值的分布一致的缩略图，所述像素灰度值的分布包括像素灰度值的均值和方差；
[0013]步骤二二：分别对原始尺寸图像和缩略图进行特征提取，得到原始尺寸图像和缩略图的特征图；
[0014]步骤二三：根据原始尺寸图像和缩略图的特征图并利用Feature map蒸馏，得到与原始尺寸图像特征图像素灰度值的分布一致的缩略图的特征图；
[0015]步骤二四：利用步骤二三中得到的特征图替换原始尺寸图像特征图，并利用检测网络得到压缩图像中物体的位置和类别预测值，并利用原始尺寸图像为输入，压缩图像中物体的位置和类别预测值作为输出，训练目标检测网络。
[0016]进一步的，所述目标检测网络的训练过程还包括：
[0017]步骤二五：利用Logit蒸馏对原始尺寸图像中的类别预测值以及步骤二四中得到的类别预测值进行处理，得到与原始尺寸图像中的类别预测值一致的类别预测值；
[0018]步骤二六：利用原始尺寸图像为输入、步骤二四中压缩图像中物体的位置以及步骤二五中的类别预测值为输出，训练目标检测网络。
[0019]进一步的，所述目标检测网络的训练过程还包括：
[0020]步骤二七：获取原始尺寸图像的热力图；
[0021]步骤二八：通过像素灰度值的均方误差以及像素灰度值分布的KL散度，得到与原始尺寸图像的热力图一致的缩略图的热力图；
[0022]步骤二九：利用原始尺寸图像的热力图为输入、缩略图的热力图为输出，训练目标检测网络。
[0023]进一步的，所述Feature map蒸馏的损失函数表示为：
[0024][0025]其中，F
T
和F
S
代表教师和学生网络中ResNet50的输出特征图，L代表ResNet50的卷积层层数，C，H，W分别代表特征图的通道数，高度和宽度，f代表特征图对齐操作。
[0026]进一步的，所述Logit蒸馏的损失函数表示为：
[0027][0028]其中，代表softmax函数，代表超参数温度，p
t
和p
s
分别代表教师和学生的类别预测值。
[0029]进一步的，所述高光谱点云图像获取步骤为：
[0030]步骤一一：获取高光谱图像和激光雷达点云，并根据高光谱图像和激光雷达点云得到本征映射矩阵；
[0031]步骤一二：对激光雷达点云进行超体素分割，生成超体素表示矩阵；
[0032]步骤一三：根据本征映射矩阵得到入射光照方向；
[0033]步骤一四：根据本征映射矩阵、超体素表示矩阵和入射光照方向进行基于超体素的联合本征分解，生成高光谱点云；
[0034]步骤一五：将高光谱点云进行投影，得到高光谱点云图像。
[0035]进一步的，所述步骤一一的具体步骤为：
[0036]输入高光谱图像和激光雷达点云其中h
k
＝[h
k
(λ1),h
k
(λ2),
…
,h
k
(λ
d
)]T
,k＝1,2,...,u，h
k
为每个像素的光谱特征，λ为波长，d为波段数，u为高光谱图像像素的总数；每个点云的属性特征p
s
＝[x
s
,y
s
,z
s
,I
s
]T
,s＝1,2,...,v，其中(x
s
,y
s
,z
s
)为每个点云的坐标信息，I
s
为激光雷达的强度，v为激光雷达点云的总数；
[0037]计算激光雷达点云P中每个点的法线，得到相应的法线特征其中n
s
＝[N
x
,N
y
,N
z
]T
,s＝1,2,...,v表示法线在x,y,z空间坐标轴的投影，然后计算矩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光雷达高光谱点云图像识别方法，其特征在于包括以下步骤：步骤一：获取高光谱点云图像；步骤二：利用训练好的目标检测网络对二维图像进行识别；所述目标检测网络的训练过程为：步骤二一：获取二维图像，并通通过监督缩略图像像素灰度值的分布与原始尺寸图像像素灰度值的分布之间的差距，得到与原始尺寸图像像素灰度值的分布一致的缩略图，所述像素灰度值的分布包括像素灰度值的均值和方差；步骤二二：分别对原始尺寸图像和缩略图进行特征提取，得到原始尺寸图像和缩略图的特征图；步骤二三：根据原始尺寸图像和缩略图的特征图并利用Feature map蒸馏，得到与原始尺寸图像特征图像素灰度值的分布一致的缩略图的特征图；步骤二四：利用步骤二三中得到的特征图替换原始尺寸图像特征图，并利用检测网络得到压缩图像中物体的位置和类别预测值，并利用原始尺寸图像为输入，压缩图像中物体的位置和类别预测值作为输出，训练目标检测网络。2.根据权利要求1所述的一种激光雷达高光谱点云图像识别方法，其特征在于所述目标检测网络的训练过程还包括：步骤二五：利用Logit蒸馏对原始尺寸图像中的类别预测值以及步骤二四中得到的类别预测值进行处理，得到与原始尺寸图像中的类别预测值一致的类别预测值；步骤二六：利用原始尺寸图像为输入、步骤二四中压缩图像中物体的位置以及步骤二五中的类别预测值为输出，训练目标检测网络。3.根据权利要求2所述的一种激光雷达高光谱点云图像识别方法，其特征在于所述目标检测网络的训练过程还包括：步骤二七：获取原始尺寸图像的热力图；步骤二八：通过像素灰度值的均方误差以及像素灰度值分布的KL散度，得到与原始尺寸图像的热力图一致的缩略图的热力图；步骤二九：利用原始尺寸图像的热力图为输入、缩略图的热力图为输出，训练目标检测网络。4.根据权利要求3所述的一种激光雷达高光谱点云图像识别方法，其特征在于所述Feature map蒸馏的损失函数表示为：其中，F
T
和F
S
代表教师和学生网络中ResNet50的输出特征图，L代表ResNet50的卷积层层数，C，H，W分别代表特征图的通道数，高度和宽度，f代表特征图对齐操作。5.根据权利要求4所述的一种激光雷达高光谱点云图像识别方法，其特征在于所述Logit蒸馏的损失函数表示为：其中，代表softmax函数，代表超参数温度，p
t
和p
s
分别代表教师和学生的类别预
测值。6.根据权利要求5所述的一种激光雷达高光谱点云图像识别方法，其特征在于所述高光谱点云图像获取步骤为：步骤一一：获取高光谱图像和激光雷达点云，并根据高光谱图像和激光雷达点云得到本征映射矩阵；步骤一二：对激光雷达点云进行超体素分割，生成超体素表示矩阵；步骤一三：根据本征映射矩阵得到入射光照方向；步骤一四：根据本征映射矩阵、超体素表示矩阵和入射光照方向进行基于超体素的联合本征分解，生成高光谱点云；步骤一五：将高光谱点云进行投影，得到高光谱点云图像。7.根据权利要求6所述的一种激光雷达高光谱点云图像识别方法，其特征在于所述步骤一一的具体步骤为：输入高光谱图像和激光雷达点云其中h
k
＝[h
k
(λ1),h
k
(λ2),
…
,h
k
(λ
d
)]
T
,k＝1,2,...,u，h
k
为每个像素的光谱特征，λ为波长，d为波段数，u为高光谱图像像素的总数；每个点云的属性特征p
s
＝[x
s
,y
s
,z
s
,I
s
]
T
,s＝1,2,...,v，其中(x
s
,y
s

【专利技术属性】
技术研发人员：田中山，王现中，杨昌群，吴小川，牛道东，张俊，梁珈铭，
申请(专利权)人：哈尔滨工业大学中仪知联苏州工业自动化有限公司，
类型：发明
国别省市：