【技术实现步骤摘要】
本专利技术涉及多模态目标检测，具体是一种基于虚拟点云的多模态目标检测方法。
技术介绍
1、多模态目标检测是指利用多种不同类型的传感器或数据源，如激光雷达、摄像头、雷达等，融合信息来进行目标检测和定位的一种技术。其目的是提高目标检测的准确性和鲁棒性，同时也使得对复杂场景的理解更全面。
2、目前，多模态环境感知方法主要有三种：一、利用多个传感器获取各个模态数据，将各个模态数据在感知前进行叠加融合，又称前融合；二、分别针对各个模态数据设计神经网络，利用神经网络提取特征，得到所需要的局部特征与全局特征，并在特征层面对各个模态数据对应的模态特征进行叠加融合，又称特征融合；三、利用各个模态数据的感知结果进行逻辑上的取舍，综合得到最终结果，又称后融合。
3、在实际的目标检测过程中发现，点云数据较为稀疏，并且点云的位置是无序的，导致在使用上述现有技术时容易出现漏检和误检的问题，极大的影响了目标检测的准确率。
技术实现思路
1、为了避免和克服现有技术中存在的技术问题，本专利技术提供了一种基于虚拟点云的多模态目标检测方法。本专利技术能够有效的提高目标检测的准确性。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于虚拟点云的多模态目标检测方法，包括以下检测步骤：
4、s1、将图片输入到神经网络中，对图片进行特征提取，以获得图片的关键点；
5、s2、在虚拟点云构造网络中通过关键点信息构造虚拟点云；
6、s3、
7、s4、将体素化组织输入到目标检测网络中，获得检测结果；
8、s5、联合更新神经网络、虚拟点云构造网络和目标检测网络中的参数，以获得由神经网络、虚拟点云构造网络和目标检测网络组成的多模态目标检测模型；
9、s6、将待分类的图片输入到多模态目标检测模型中，以获得该图片的类别。
10、作为本专利技术再进一步的方案：步骤s1的具体步骤如下：
11、s21、将图片输入到作为dla-34网络的神经网络中进行特征提取，获得对应的特征图；
12、s22、基于centernet，获取特征图上各个点云的相机坐标；
13、s23、通过转换公式将点云的相机坐标转化成相机坐标中xy平面上的投影点；
14、s24、对各个投影点，通过计算以投影点位置为中心的二维高斯概率分布，进而生成高斯图；
15、s25、将所有投影点生成的高斯图相加，形成热图；
16、s26、选取热图中二维高斯概率最大的像素点作为关键点。
17、作为本专利技术再进一步的方案：步骤s2的具体步骤如下：
18、s21、将关键点的高斯图输入到坐标预测网络中，获得高斯图偏移量的预测值；
19、s22、基于smoke算法，采用数理统计的方式计算所有关键点深度的均值和方差，并结合高斯图偏移量的预测值，计算得到关键点的三维坐标；
20、s23、将关键点输入置信度网络中，获取各个关键点对应的置信度；
21、s24、选择置信度在设定范围内的关键点，并通过这些关键点的深度值，结合相机的内参矩阵，计算得到位于点云空间中设定数量的虚拟点云，以及这些虚拟点云的坐标。
22、作为本专利技术再进一步的方案：步骤s3的具体步骤如下：将获得虚拟点云和该图片对应的真实点云进行体素化处理，并获得处理后的体素组织；接着将体素组织等分成各个体素块；然后对各个体素块中的点云进行特征编码；最后将编码后的体素块输入到目标检测网络中，预测该图片的类别。
23、作为本专利技术再进一步的方案：联合坐标预测网络中关键点损失函数和目标检测网络中的目标损失函数，构成联合损失函数；通过联合损失函数更新由神经网络、虚拟点云构造网络和目标检测网络组成的多模态目标检测模型中的参数，以获得最优的多模态目标检测模型。
24、与现有技术相比，本专利技术的有益效果是：
25、1、本专利技术提出了一种基于虚拟点云的二阶段多模态目标检测方法，即利用图像检测目标信息来构造虚拟点云辅助基于点云的目标检测。该方法首先利用图像检测目标信息构造虚拟点云，增加点云的密集程度，从而提高目标特征的表现。其次，增加点云特征维度以区分真实和虚拟点云，并使用含置信度编码的体素，增强点云的相关性。最后，采用虚拟点云的比例系数设计损失函数，增加图像检测有监督训练，提高二阶段网络训练效率，避免二阶段端到端网络模型存在的模型误差累计问题，有效的提高目标检测系统的精度和鲁棒性。
本文档来自技高网...【技术保护点】
1.一种基于虚拟点云的多模态目标检测方法，其特征在于，包括以下检测步骤：
2.根据权利要求1所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤S1的具体步骤如下：
3.根据权利要求2所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤S2的具体步骤如下：
4.根据权利要求3所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤S3的具体步骤如下：将获得虚拟点云和该图片对应的真实点云进行体素化处理，并获得处理后的体素组织；接着将体素组织等分成各个体素块；然后对各个体素块中的点云进行特征编码；最后将编码后的体素块输入到目标检测网络中，预测该图片的类别。
5.根据权利要求4所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，联合坐标预测网络中关键点损失函数和目标检测网络中的目标损失函数，构成联合损失函数；通过联合损失函数更新由神经网络、虚拟点云构造网络和目标检测网络组成的多模态目标检测模型中的参数，以获得最优的多模态目标检测模型。记录需要扩充虚拟均匀点云的3D关键点数量，间接反映出单目网络的准确程度，当该数量较
...【技术特征摘要】
1.一种基于虚拟点云的多模态目标检测方法，其特征在于，包括以下检测步骤：
2.根据权利要求1所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤s1的具体步骤如下：
3.根据权利要求2所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤s2的具体步骤如下：
4.根据权利要求3所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤s3的具体步骤如下：将获得虚拟点云和该图片对应的真实点云进行体素化处理，并获得处理后的体素组织；接着将体素组织等分成各个体素块；然后对各个体素块中的点云进行特...
【专利技术属性】
技术研发人员：程腾，倪昊，张强，石琴，王文冲，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。