一种基于虚拟点云的多模态目标检测方法技术

本发明专利技术涉及多模态目标检测技术领域，具体是一种基于虚拟点云的多模态目标检测方法，包括以下检测步骤：将图片输入到神经网络中，对图片进行特征提取，以获得图片的关键点；在虚拟点云构造网络中通过关键点信息构造虚拟点云；将虚拟点云和图片的真实点云进行体素化，获得体素组织；将体素化组织输入到目标检测网络中，获得检测结果；联合更新神经网络、虚拟点云构造网络和目标检测网络中的参数，以获得由神经网络、虚拟点云构造网络和目标检测网络组成的多模态目标检测模型；将待分类的图片输入到多模态目标检测模型中，以获得该图片的类别，本发明专利技术能够有效的提高目标检测的准确性。

【技术实现步骤摘要】

本专利技术涉及多模态目标检测，具体是一种基于虚拟点云的多模态目标检测方法。

技术介绍

1、多模态目标检测是指利用多种不同类型的传感器或数据源，如激光雷达、摄像头、雷达等，融合信息来进行目标检测和定位的一种技术。其目的是提高目标检测的准确性和鲁棒性，同时也使得对复杂场景的理解更全面。

2、目前，多模态环境感知方法主要有三种：一、利用多个传感器获取各个模态数据，将各个模态数据在感知前进行叠加融合，又称前融合；二、分别针对各个模态数据设计神经网络，利用神经网络提取特征，得到所需要的局部特征与全局特征，并在特征层面对各个模态数据对应的模态特征进行叠加融合，又称特征融合；三、利用各个模态数据的感知结果进行逻辑上的取舍，综合得到最终结果，又称后融合。

3、在实际的目标检测过程中发现，点云数据较为稀疏，并且点云的位置是无序的，导致在使用上述现有技术时容易出现漏检和误检的问题，极大的影响了目标检测的准确率。

技术实现思路

1、为了避免和克服现有技术中存在的技术问题，本专利技术提供了一种基于虚拟点云的多本文档来自技高网...

【技术保护点】

1.一种基于虚拟点云的多模态目标检测方法，其特征在于，包括以下检测步骤：

2.根据权利要求1所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤S1的具体步骤如下：

3.根据权利要求2所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤S2的具体步骤如下：

4.根据权利要求3所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤S3的具体步骤如下：将获得虚拟点云和该图片对应的真实点云进行体素化处理，并获得处理后的体素组织；接着将体素组织等分成各个体素块；然后对各个体素块中的点云进行特征编码；最后将编码后的体素块输入到目标检测网络中...

【技术特征摘要】

1.一种基于虚拟点云的多模态目标检测方法，其特征在于，包括以下检测步骤：

2.根据权利要求1所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤s1的具体步骤如下：

3.根据权利要求2所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤s2的具体步骤如下：

4.根据权利要求3所述的一种基于虚拟点云的多模态目标检测方法，其特征在于，步骤s3的具体步骤如下：将获得虚拟点云和该图片对应的真实点云进行体素化处理，并获得处理后的体素组织；接着将体素组织等分成各个体素块；然后对各个体素块中的点云进行特...

【专利技术属性】
技术研发人员：程腾，倪昊，张强，石琴，王文冲，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：