一种动态环境下的物体辨识与定位方法技术

一种动态环境下的物体辨识与定位方法，包括：1)获取作业环境的图像作为训练库进行处理并分类成训练集、验证集和测试集；2)将训练集输入改进的Faster

【技术实现步骤摘要】
一种动态环境下的物体辨识与定位方法


[0001]本专利技术涉及工程机械集群自主作业物体辨识与定位、人工智能与机器视觉
，特别是指一种动态环境下的物体辨识与定位方法。

技术介绍

[0002]随着我国国民经济加大基础设施的投入，工程机械作为各项基础设施建设必需的施工机械装备得到了快速发展。当前，对于工程机械的研究仍然处于实现个体智能阶段，伴随着制造业的发展，以及在数字化、信息化和智能化等新兴技术的大背景下，新一代工程机械不仅需要实现集成化操作和智能控制，而且需要实现智能集群协同作业，集群智能是工程机械未来发展的必然趋势。
[0003]工程机械集群智能化是在不需要操作人员的参与情况下，通过安装各种复杂的传感器来实现自我感知、自主决策和自主作业，以及各机群个体之间的智能协同作业，而环境感知是工程机械在未知环境下实现智能集群协同作业的前提和基础。
[0004]工程机械集群作业中，由于作业环境存在显著的动态性，如车辆穿梭、人员走动、障碍物动态出现等，从而导致物体辨识与定位不准，动态障碍物检测能力低，使得环境感知面临较大挑战。此外，传统研究中仅考虑对作业现场的物体进行静态辨识，并没有考虑实时动态识别与精准位置信息获取，因而对物体进行动态辨识难度高。
[0005]中国专利技术专利201510688485.2提出一种在无人机上装载双目视觉的无人机自主障碍物检测系统，同时提供了一种自主障碍物检测方法，该方法通过双目视觉系统获得飞行环境的视觉信息，并经处理得到障碍物信息。中国专利技术专利201611052401.7提出了一种复杂环境下无人机自动障碍物检测和避障方法，通过在无人机上设置的双目摄像头进行实时图像采集，基于视差的原理筛选得到最终障碍物区域。这些专利通过无人机上搭载双目视觉系统进行障碍物的识别，其缺点在于在图像匹配和障碍物识别过程中并未通过深度学习相关算法建立大量训练图像模型数据库，对于障碍物辨识的精准度难以保证。此外，由于无人机负载和续航能力差，在集群作业的物体辨识和定位方面应用上存在潜在的实时性、动态性缺陷。

技术实现思路

[0006]本专利技术的主要目的在于克服现有技术中的上述缺陷，提出一种动态环境下的物体辨识与定位方法，不需要人工操作，可以自动提取特征以检测物体，智能化程度高，适用于工程机械集群作业，能实现全局作业环境下的动态物体辨识与精准定位。
[0007]本专利技术采用如下技术方案：
[0008]一种动态环境下的物体辨识与定位方法，其特征在于，包括如下步骤：
[0009]1)通过机载环境感知系统和集群车载环境感知系统获取大量的作业环境的图像作为训练库，将训练库中的图像进行预处理和特征提取，将特征提取后的图像分类成训练集、验证集和测试集；
[0010]2)将训练集输入改进的Faster
‑
RCNN深度学习模型进行训练，再将验证集和测试集输入训练好的改进的Faster
‑
RCNN深度学习模型进行验证和测试，得到目标物体特征模型；
[0011]3)通过机载环境感知系统获取全局地形和全局位置信息，并对全局地形进行预处理和特征提取后输入目标物体特征模型获得全局静态物体辨识信息，还对全局地形进行图像处理得到全局静态物体特征点对应的深度信息值；
[0012]4)通过集群车载环境感知系统获取工程机械集群实际作业过程中的局部地形与局部位置信息，并进行预处理和特征提取后输入目标物体特征模型获得局部动态物体辨识信息，还对局部地形进行图像处理得到局部动态物体特征点对应的深度信息值；
[0013]5)采用目标特征提取与图像融合方法实现全局静态物体辨识信息及对应的深度信息值与全局位置信息、局部动态物体辨识信息及对应的深度信息值与局部位置信息的融合，得到工程机械集群作业动态环境下的物体辨识与定位信息。
[0014]优选的，所述预处理包括滤波去燥和图像增强；所述特征提取包括对图像进行分块处理，将分块后的子图像进行Gabor特征提取，并通过核主成分分析进行降维处理得到8个方向的特征并结合子图像RGB的3个通道特征组成特征向量。
[0015]优选的，所述机载环境感知系统获包括无人机、机载双目摄像机和北斗定位传感器设备，该机载双目摄像机和北斗定位传感器设备安装于无人机上，对机载双目摄像机进行参数标定，获取由图像二维像素点到空间三维位置之间的映射矩阵方程；通过启动无人机至适宜高度，对作业环境进行单次扫描，采集周围环境全局地形和全局位置信息。
[0016]优选的，所述集群车载环境感知系统包括有工程机械、双目摄像机和北斗定位传感设备，该机载双目摄像机和北斗定位传感器设备安装于工程机械，对机载双目摄像机进行参数标定，获取由图像二维像素点到空间三维位置之间的映射矩阵方程；当工程机械发动时，不间断地采集周围环境的局部地形与局部位置信息。
[0017]优选的，所述目标物体特征模型包括全局静态物体特征模型和局部动态物体特征模型，所述步骤3)中，特征提取后输入全局静态物体特征模型得到所述全局静态物体辨识信息；所述步骤4)中，特征提取后输入局部动态物体特征模型得到所述局部动态物体辨识信息。
[0018]优选的，所述步骤3)中，还包括对全局地形通过加权平均法转化为灰度图像，再进行直方图均衡化操作处理得到左右灰度图像，利用Harris
‑
SURF算法检测并匹配左右灰度图像中全局地形表面的特征点后，由映射矩阵方程计算得到全局静态物体特征点对应的深度信息值。
[0019]优选的，所述步骤4)中，还包括对局部地形通过加权平均法转化为灰度图像，再进行直方图均衡化操作处理得到左右灰度图像，利用Harris
‑
SURF算法检测并匹配左右灰度图像中局部动态物体表面的特征点后，由映射矩阵方程计算得到局部动态物体特征点对应的深度信息值。
[0020]优选的，采用主成分分析变换法、小波变换法或Gram Schmidt变换法实现全局静态物体辨识信息及对应的深度信息值与全局位置信息、局部动态物体辨识信息及对应的深度信息值与局部位置信息的融合，获得动态环境下的物体辨识与定位信息。
[0021]由上述对本专利技术的描述可知，与现有技术相比，本专利技术具有如下有益效果：
[0022]本专利技术所述的基于双目视觉与深度学习的动态环境下的物体辨识与定位方法，通过机载环境感知系统和集群车载环境感知系统，可以获得全局的和多个局部的、实时动态的环境感知信息；通过图像处理方法和深度学习算法获得全局静态物体辨识与定位信息和局部动态物体辨识与定位信息；再结合机载北斗定位信息与车载北斗定位信息，采用图像融合方法实现全局静态物体辨识与定位信息和局部动态物体辨识与定位信息的融合，获得全局动态环境下的物体辨识与定位信息。
[0023]本专利技术方法与现有技术比，不需要人工操作，智能化程度高，适用于工程车辆集群作业，能够实现全局动态环境下物体的精确辨识与定位。
附图说明
[0024]图1为本专利技术的目标物体特征模型构建的流程图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态环境下的物体辨识与定位方法，其特征在于，包括如下步骤：1)通过机载环境感知系统和集群车载环境感知系统获取大量的作业环境的图像作为训练库，将训练库中的图像进行预处理和特征提取，将特征提取后的图像分类成训练集、验证集和测试集；2)将训练集输入改进的Faster
‑
RCNN深度学习模型进行训练，再将验证集和测试集输入训练好的改进的Faster
‑
RCNN深度学习模型进行验证和测试，得到目标物体特征模型；3)通过机载环境感知系统获取全局地形和全局位置信息，并对全局地形进行预处理和特征提取后输入目标物体特征模型获得全局静态物体辨识信息，还对全局地形进行图像处理得到全局静态物体特征点对应的深度信息值；4)通过集群车载环境感知系统获取工程机械集群实际作业过程中的局部地形与局部位置信息，并进行预处理和特征提取后输入目标物体特征模型获得局部动态物体辨识信息，还对局部地形进行图像处理得到局部动态物体特征点对应的深度信息值；5)采用目标特征提取与图像融合方法实现全局静态物体辨识信息及对应的深度信息值与全局位置信息、局部动态物体辨识信息及对应的深度信息值与局部位置信息的融合，得到工程机械集群作业动态环境下的物体辨识与定位信息。2.如权利要求1所述的一种动态环境下的物体辨识与定位方法,其特征在于，所述预处理包括滤波去燥和图像增强；所述特征提取包括对图像进行分块处理，将分块后的子图像进行Gabor特征提取，并通过核主成分分析进行降维处理得到8个方向的特征并结合子图像RGB的3个通道特征组成特征向量。3.如权利要求1所述的一种动态环境下的物体辨识与定位方法,其特征在于，所述机载环境感知系统获包括无人机、机载双目摄像机和北斗定位传感器设备，该机载双目摄像机和北斗定位传感器设备安装于无人机上，对机载双目摄像机进行参数标定，获取由图像二维像素点到空间三维位置之间的映射矩阵方程；通过启动无人机至适宜高度，对作业环境进行单次扫描，采集...

【专利技术属性】
技术研发人员：王少杰，吴彬云，余圣锋，陈春华，曾军，侯亮，卜祥建，
申请(专利权)人：厦门大学，
类型：发明
国别省市：