基于条件生成对抗网络的图像与点云特征融合方法及系统技术方案

本发明专利技术属于图像数据融合技术领域，提供基于条件生成对抗网络的图像与点云特征融合方法及系统，其中，获取第一点云数据和RGB图像数据，并对第一点云数据进行预处理得到第二点云数据；调用目标条件生成对抗网络模型，基于第二点云数据和RGB图像数据生成目标合成点云数据；根据目标合成点云数据和第二点云数据生成双高斯分布合成点云特征，并根据目标合成点云数据、第二点云数据以及双高斯分布合成点云特征处理得到融合点云特征，从而解决了如何对图像数据和点云数据进行有效的特征融合的问题，提升了无人矿区中智能驾驶系统的性能。

【技术实现步骤摘要】

本专利技术涉及图像数据融合，尤其涉及基于条件生成对抗网络的图像与点云特征融合方法及系统。

技术介绍

1、无人矿车和无人推土机在露天煤矿场中的引进为无人作业带来极大便利。智能驾驶系统通常需要对矿区的障碍物进行检测，例如作业人员、料堆、挡土墙等，以保障安全作业。因此，为了在降低人力成本的同时提高作业效率，需要推动矿区的目标检测的智能化发展。目前，目标检测方法可分为三种，第一种是基于图像的目标检测方法，第二种是基于雷达点云的目标检测方法，第三种是基于图像和点云融合的目标检测方法。但矿区通常存在恶劣的自然条件，会严重影响基于图像的检测效果。而仅基于雷达点云的目标检测没有利用目标的纹理、颜色和形状等外观信息。通过基于图像和点云融合的目标检测方法，能够同时利用两种模态的优势，弥补单一模态的不足，从而提高目标检测的准确性和鲁棒性。

2、目前基于图像和点云融合的目标检测方法主要有以下几种：一种是通过深度估计将二维图像映射到三维空间中，再编码为鸟瞰图(bird's eye view，bev)特征，与点云数据的bev特征进行融合；另一种是将激光雷达点云中的每个点投本文档来自技高网...

【技术保护点】

1.基于条件生成对抗网络的图像与点云特征融合方法，其特征在于，所述基于条件生成对抗网络的图像与点云特征融合方法包括：

2.根据权利要求1所述的基于条件生成对抗网络的图像与点云特征融合方法，其特征在于，所述调用目标条件生成对抗网络模型，基于所述第二点云数据和所述RGB图像数据生成目标合成点云数据，包括：

3.根据权利要求2所述的基于条件生成对抗网络的图像与点云特征融合方法，其特征在于，所述基于所述点云特征和所述RGB图像特征，对条件生成对抗网络模型进行训练得到目标条件生成对抗网络模型，包括：

4.根据权利要求3所述的基于条件生成对抗网络的图像与点云特征融...

【技术特征摘要】

1.基于条件生成对抗网络的图像与点云特征融合方法，其特征在于，所述基于条件生成对抗网络的图像与点云特征融合方法包括：

2.根据权利要求1所述的基于条件生成对抗网络的图像与点云特征融合方法，其特征在于，所述调用目标条件生成对抗网络模型，基于所述第二点云数据和所述rgb图像数据生成目标合成点云数据，包括：

3.根据权利要求2所述的基于条件生成对抗网络的图像与点云特征融合方法，其特征在于，所述基于所述点云特征和所述rgb图像特征，对条件生成对抗网络模型进行训练得到目标条件生成对抗网络模型，包括：

4.根据权利要求3所述的基于条件生成对抗网络的图像与点云特征融合方法，其特征在于，所述根据所述目标合成点云数据和所述第二点云数据生成双高斯分布合成点云特征，并根据所述目标合成点云数据、所述第二点云数据以及所述双高斯分布合成点云特征处理得到融合点云特征，包括：

5.根据权利要求3所述的基于条件生成对抗网络的图像与点云特征融合方法，其特征在于，所述对第一损失值、第三损失值和第四损失值进行加权求和，得到目标损失值，所...

【专利技术属性】
技术研发人员：张鲜，杨正益，石锐，边庆国，李进，安昕彦，王雅琪，甘丽丽，
申请(专利权)人：重庆大学，
类型：发明
国别省市：