一种基于多模态数据特征的目标分类方法技术

本发明专利技术提供了一种基于多模态数据特征的目标分类方法，包括以下步骤：采集激光雷达点云数据和RGB图像数据；获取激光雷达点云数据的若干特征；根据若干特征获得若干激光雷达特征图；对激光雷达特征图进行上采样并稠密化；获取激光雷达特征图的三通道数据，并与RGB图像数据融合形成六通道数据；采用深度学习网络模型对六通道数据进行训练，获得分类结果。本发明专利技术通过从激光雷达上获取的三个特征作为三通道数据与RGB图像的三通道数据融合形成六通道数据，通过使用深度学习网络模型对六通道数据进行训练，在训练之后针对每一个目标会获得多个不同的概率，在多个概率中选取概率最大的数值作为最后的目标分类结果，可以更加准确的检测出目标，准确率更高。

A target classification method based on multimodal data features

【技术实现步骤摘要】
一种基于多模态数据特征的目标分类方法
本专利技术涉及多传感器融合及模式识别
，特别是涉及一种基于多模态数据特征的目标分类方法。
技术介绍
目标分类是开发智能驾驶汽车的必备技术之一，为加强智能驾驶汽车的环境感知能力，往往在车辆周围安装多类传感器。当前的目标分类方法大多是基于图像的计算机视觉方法。尽管视觉图像包含了最丰富的语义信息，但传统的光学相机对环境光照变化十分敏感，且图像计算需要消耗大量计算机资源。更重要的是，在高动态的驾驶条件下，视觉测距并不稳定，由于缺乏深度信息会导致基于图像的方法无法估计物体距离和分清道路上的重叠物体。雷达传感器可以提供具有高频率的精确距离信息，但数据分辨率太过稀疏导致使用具有一定的局限性。在智能驾驶环境中，受车体振动，光线和相机测距精度的影响，深度特征的误差也相对较高，例如Kinect传感器无法用于室外远距离的目标检测。单一类型传感器对环境感知均存在一定的劣势，不能对目标更好的检测、分类。
技术实现思路
为了克服现有技术中不能对目标更好的检测、分类的问题，进而提供一种基于多模态数据特征本文档来自技高网...

【技术保护点】
1.一种基于多模态数据特征的目标分类方法，其特征在于，包括以下步骤：/n采集激光雷达点云数据和RGB图像数据；/n获取所述激光雷达点云数据的若干特征；/n根据若干所述特征获得若干激光雷达特征图；/n对所述激光雷达特征图进行上采样并稠密化；/n获取所述激光雷达特征图的三通道数据，并与所述RGB图像数据融合形成六通道数据；/n采用深度学习网络模型对所述六通道数据进行训练，获得分类结果。/n

【技术特征摘要】
1.一种基于多模态数据特征的目标分类方法，其特征在于，包括以下步骤：
采集激光雷达点云数据和RGB图像数据；
获取所述激光雷达点云数据的若干特征；
根据若干所述特征获得若干激光雷达特征图；
对所述激光雷达特征图进行上采样并稠密化；
获取所述激光雷达特征图的三通道数据，并与所述RGB图像数据融合形成六通道数据；
采用深度学习网络模型对所述六通道数据进行训练，获得分类结果。


2.根据权利要求1所述的基于多模态数据特征的目标分类方法，其特征在于，所述特征包括深度距离特征、垂直高度特征和法向量角度特征。


3.根据权利要求1所述的基于多模态数据特征的目标分类方法，其特征在于，所述激光雷达特征图包括深度特征图、高度特征图和角度特征图。


4.根据权利要求1所述的基于多模态数据特征的目标分类方法，其特征在于，采用双边滤波器对所述激光雷达特征图进行上采样并稠密化处理；
对所述激光雷达特征图进行上采样并稠密化的步骤为：在所述激光雷达特征图中取任意点q点，激光雷达测量的q点表示深度的灰度值为Iq，通过q点上采样获得任意一点p点深度值，所述双边滤波器的计算公式为：



其中，Dp为上采样稠密化后p点的深度值；Wp为归一化因子；为q点对p点深度的影响权重；为距离惩罚项；‖p-q‖为p点和q点之间的欧几里德距离；N为激光雷达特征图上的像素点，其中N大于等于1。


5.根据权利要求3所述的基于多模态数据特征的目标分类方法，其特征在于，获得所述深度特征图的步骤包括：
获取像素点对应的三维坐标点；
根据所述三维坐标点获取所述像素点的灰度值E，并获得所述深度...

【专利技术属性】
技术研发人员：张新钰，周沫，谭启凡，李骏，刘华平，马浩淳，赵建辉，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11