一种矿区行人检测方法、装置和芯片制造方法及图纸

技术编号:37681427 阅读:24 留言:0更新日期:2023-05-28 09:35
本申请提供了一种矿区行人检测方法、装置和芯片,涉及数据处理技术领域。该方法包括:通过图像采集装置获取矿区图像,以及通过激光雷达获取与矿区图像对应的激光雷达点云数据;利用已构建的二维行人检测模型对矿区图像进行检测,得到二维行人边界框;在激光雷达点云数据中获取与二维行人边界框对应的目标点云数据;利用已构建的三维行人检测模型对目标点云数据进行检测,得到三维行人类别信息,以及根据二维行人边界框和目标点云数据,获取三维行人边界框;二维行人检测模型包括主干网络、第一、第二传递网络和第一后处理网络。本申请基于三维点云和二维图像的融合实现了对矿区行人目标的准确识别。人目标的准确识别。人目标的准确识别。

【技术实现步骤摘要】
一种矿区行人检测方法、装置和芯片


[0001]本申请涉及数据处理
,尤其是涉及到一种矿区行人检测方法、装置和芯片。

技术介绍

[0002]目前,矿区无人驾驶的发展目标是在保障安全的前提下,实现对矿区障碍物的准确识别,以做出正确的决策规划,而其中,对行人目标的检测是至关重要的,是矿区无人驾驶感知系统的关键任务。
[0003]然而,不同于普通场景,矿区环境恶劣、地形复杂,导致矿区行人检测增加了难度,由此会给矿车自动驾驶带来的巨大安全隐患。

技术实现思路

[0004]有鉴于此,本申请提供了一种矿区行人检测方法、装置和芯片,能够基于三维点云和二维图像的融合实现了对矿区行人目标的准确识别。
[0005]第一方面,本申请实施例提供了一种矿区行人检测方法,包括:通过图像采集装置获取矿区图像,以及通过激光雷达获取与矿区图像对应的激光雷达点云数据;利用已构建的二维行人检测模型对矿区图像进行检测,得到二维行人边界框;在激光雷达点云数据中获取与二维行人边界框对应的目标点云数据;利用已构建的三维行人检测模型对目标点云数据进行检测,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种矿区行人检测方法,其特征在于,包括:通过图像采集装置获取矿区图像,以及通过激光雷达获取与所述矿区图像对应的激光雷达点云数据;利用已构建的二维行人检测模型对所述矿区图像进行检测,得到二维行人边界框;在所述激光雷达点云数据中获取与所述二维行人边界框对应的目标点云数据;利用已构建的三维行人检测模型对所述目标点云数据进行检测,得到三维行人类别信息,以及根据所述二维行人边界框和所述目标点云数据,获取三维行人边界框;其中,所述二维行人检测模型包括主干网络、第一传递网络、第二传递网络和第一后处理网络,所述主干网络用于对所述矿区图像进行特征提取,输出多个不同深度的提取特征,所述第一传递网络用于对多个所述提取特征进行自上至下的融合处理,输出多个初级融合特征,所述第二传递网络用于对多个所述初级融合特征进行自下至上的融合处理,输出多个次级融合特征,所述第一后处理网络用于对多个所述次级融合特征进行特征聚合和识别,输出所述二维行人边界框。2.根据权利要求1所述的方法,其特征在于,所述主干网络包括串联的第一残差网络、第二残差网络、第三残差网络、第四残差网络和第五残差网络;其中,所述第一残差网络、所述第二残差网络、所述第三残差网络、所述第四残差网络和所述第五残差网络分别输出第一提取特征、第二提取特征、第三提取特征、第四提取特征和第五提取特征;所述第一传递网络包括串联的第一初级融合模块、第二初级融合模块、第三初级融合模块和第四初级融合模块;其中,所述第一初级融合模块与所述第四残差网络、所述第五残差网络连接,用于对所述第四提取特征和所述第五提取特征进行融合,输出第一初级融合特征;所述第二初级融合模块与所述第三残差网络、所述第一初级融合模块连接,用于对所述第三提取特征和所述第一初级融合特征进行融合,输出第二初级融合特征;所述第三初级融合模块与所述第二残差网络、所述第二初级融合模块连接,用于对所述第二提取特征和所述第二初级融合特征进行融合,输出第三初级融合特征;所述第四初级融合模块与所述第一残差网络、所述第三初级融合模块连接,用于对所述第一提取特征和所述第三初级融合特征进行融合,输出第四初级融合特征。3.根据权利要求2所述的方法,其特征在于,所述第二传递网络包括串联的第一次级融合模块、第二次级融合模块、第三次级融合模块和第四次级融合模块;其中,所述第一次级融合模块与所述第四初级融合模块连接,用于对所述第四初级融合特征进行卷积处理,输出第一次级融合特征;所述第二次级融合模块与所述第三初级融合模块、所述第一次级融合模块连接,用于对所述第三初级融合特征和所述第一次级融合特征进行融合,输出第二次级融合特征;所述第三次级融合模块与所述第二初级融合模块、所述第二次级融合模块连接,用于对所述第二初级融合特征和所述第二次级融合特征进行融合,输出第三次级融合特征;所述第四次级融合模块与所述第一初级融合模块、所述第三次级融合模块连接,用于对所述第一初级融合特征和所述第三次级融合特征进行融合,输出第四次级融合特征。4.根据权利要求1所述的方法,其特征在于,所述第一后处理网络包括串联的感兴趣区
域池化模块、压缩激励模块、自适应特征池化模块和全连接模块,所述压缩激励模块包括多个并联的子模块;其中,所述感兴趣区域池化模块用于对多个所述次级融合特征进行最大池化处理,所述压缩激励模块用于对所述感兴趣区域池化模块的输出特征进行特征提取,所述自适应特征池化模块用于对所述压缩激励模块的输出特征进行特征聚合,所述全连接模块用于对所述自适应特征池化模块的输出特征进行识别,输出所述二维行人边界框。5.根据权利要求1所述的方法,其特征在于,所述三维行人检测模型包括空间变换处理模块、边缘卷积网络和第二后处理网络;其中,所述空间变换处理模块用于根据...

【专利技术属性】
技术研发人员:刘强赵耀忠沈洋咸金龙刘跃房圆武马广玉曹鋆程田文明
申请(专利权)人:华能伊敏煤电有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1