工程机械局部作业场景动态三维重构方法及系统技术方案

本发明专利技术公开了一种工程机械局部作业场景动态三维重构方法及系统，方法包括：结合改进的

【技术实现步骤摘要】
工程机械局部作业场景动态三维重构方法及系统


[0001]本专利技术涉及多目标识别领域
，特别涉及一种工程机械局部作业场景动态三维重构方法及系统
。

技术介绍

[0002]工程机械是装备工业的重要组成部分，从工业时代开始在助力基础设施建设，推动社会进步等方面发挥着不可或缺的作用
。
现如今，传统工程机械由于作业时存在着劳动强度高
、
作业环境恶劣
、
作业工况复杂等问题逐渐无法满足现代工程施工种类的多样性需求
。
[0003]对局部工程机械作业场景的环境感知，除了需要获取静态的非结构化地形信息，也要关注场景中的工程机械等动态信息
。
在人工操作工程机械作业过程中，操作人员用眼睛观察施工环境和其他工程机械，保证施工的安全和高效
。
自主作业的工程机械应该具有较高的智能水平，同样需要具备对作业现场的车辆
、
人员等监控
、
跟踪
、
以及危险预警等能力，以取代人类操作员来实现这一过程
。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种工程机械局部作业场景动态三维重构方法，其特征在于，包括：
S101
，获取双目图像，对双目相机标定，进行立体匹配获取视差图，结合改进的
YOLOv4
算法对双目图像中的工程机械动态目标进行自动识别和测距定位；
S102
，构建实时稠密建图的双目视觉
SLAM
框架；对自动识别的工程机械动态目标进行点云组合滤波使双目视觉
SLAM
框架适应室外非结构化地形环境，并在
ORB
‑
SLAM2
的基础上采用多线程和关键帧，在
CPU
上实时构建稠密点云地图和八叉树地图；根据地面方程求取相机安装参数，实现地面分割与二维栅格地图构建；
S103
，将改进的
YOLOv4
算法和
ORB
‑
SLAM2
稠密建图相结合以进行定位，并构建平截头体与三维
KD
‑
Tree
去除虚假点云，实现工程机械三维作业场景重构
。2.
根据权利要求1所述的工程机械局部作业场景动态三维重构方法，其特征在于，所述
S101
，具体包括：
S1011
，获取双目图像，对相机进行标定，获取相机内外参数；
S1012
，利用
SGBM
算法对双目相机获取的图像进行立体匹配，并结合
WLS
滤波获取视差图，搭建双目立体视觉测距平台；
S1013
，基于改进的
YOLOv4
算法从双目相机获取的图像中检测出工程机械动态目标物体，将目标物体检测框的中心坐标作为目标物体的中心坐标，将该中心坐标信息传入至搭建的双目立体视觉测距平台中，获取目标物体距离相机的距离，实现对工程机械动态目标的识别与定位
。3.
根据权利要求2所述的工程机械局部作业场景动态三维重构方法，其特征在于，所述
S1011
中，对相机进行标定，具体包括：
a
，制作黑白棋盘标定板：选择格数为
9*6
的黑白棋盘标定板，每个小格的规格尺寸为
25mm*25mm
，将选好的棋盘格打印在
A4
纸上后贴于水平光滑的背板上完成标定板的制作；
b
，棋盘图像采集：采集时标定板和相机成像平面呈小于
45
度的角度，以使左右相机均完整显示标定板上的棋盘图像；同时旋转移动标定板，使其处于相机窗口的各种不同边缘处，获取图像畸变信息，最后在拍摄采集时保持棋盘静止；
c
，检测图像角点：检测每一张标定图像中的角点，并用圆圈将所有检测到的角点进行标记；
d
，求解相机内外参数：在成功检测出图像的角点后，结合
MATLAB
双目标定工具箱进行初始化，并初步计算出相机的内参数；接着将初步计算出的内参进行优化，在此基础上求解出相机的外参数
。4.
根据权利要求2所述的工程机械局部作业场景动态三维重构方法，其特征在于，所述
S1013
中，基于改进的
YOLOv4
算法从双目相机获取的图像中检测出工程机械动态目标物体，具体包括：
a
，使用
K
‑
means
算法初始化目标候选框；
b
，使用焦点损失函数对改进的
YOLOv4
网络结构进行训练获得训练好的
YOLOv4
网络结构；
c
，使用训练好的
YOLOv4
网络结构检测出目标物体
。5.
根据权利要求4所述的工程机械局部作业场景动态三维重构方法，其特征在于，所述改进的
YOLOv4
网络结构包括：对输入数据提取特征的主干网络
、
将主干网络提取到的特征
进行融合采样并传输到检测网络的颈部结构以及负责检测的头部结构；所述主干网络为
CSPDarknet53
，主干网络中卷积层的激活函数为
Mish
激活函数；所述颈部结构包括空洞卷积层
。6.
根据权利要求5所述的工程机械局部作业场景动态三维重构方法，其特征在于，所述空洞卷积层包括空洞率超参数，定义了卷积核中填充0的个数；空洞率为1为普通卷积，不同卷积核的空洞卷积的感受野计算方式如下：
k
′
＝
k+(k
‑
1)(d
‑
1)
其中，
k'
表示等效卷积核大小；
k
表示空洞卷积的卷积核大小；
d
表示空洞率；
RF
i+1
＝
RF
i
+(k
‑
1)
×
S
i
其中，
RF
i+1
表示当前层的感受野；
RF
i
表示上一层的感受野；
S
i
表示之前所有层的步长...

【专利技术属性】
技术研发人员：王少杰，刘源，侯亮，卜祥建，陈春华，
申请(专利权)人：厦门大学，
类型：发明
国别省市：