基于传感技术及图像识别技术的支架位态的定标方法技术

本发明专利技术公开一种基于传感技术及图像识别技术的支架位态的定标方法，包括以下步骤：a、点云图特征提取；b、粗略定位；c、构建三维地图；d、位态估计。本发明专利技术通过基于雷达数据传感机器人实时位态估计和采场场景的三维空间重建与实时成像，能够实现支架位态的精确定标。能够实现支架位态的精确定标。能够实现支架位态的精确定标。

【技术实现步骤摘要】
基于传感技术及图像识别技术的支架位态的定标方法


[0001]本专利技术涉及采矿
，尤其涉及一种基于传感技术及图像识别技术的支架位态的定标方法。

技术介绍

[0002]在地下坑道采掘作业中，目前所有关于支架位态和位态的检测均以地磁坐标为基准，地磁坐标是以地磁的指向为依据，在矿井内地磁比较紊乱，因此精确定标比较困难；同时，支架的调整均以地磁坐标为参考，会出现累计误差，这是导致支架定位不准的主要原因。

技术实现思路

[0003]本专利技术旨在提供一种基于传感技术及图像识别技术的支架位态的定标方法，实现地下坑道的三维空间重建与实时成像以及支架位态的定标。
[0004]为达到上述目的，本专利技术是采用以下技术方案实现的：
[0005]基于传感技术及图像识别技术的支架位态的定标方法，包括以下步骤：
[0006]a、点云图特征提取：对当前帧的点云图进行特征提取，获取三维点云特征，用于实现帧间三维点云的特征匹配；
[0007]b、粗略定位：根据帧间的三维点云特征匹配结果，估计帧间里程计的位态变化，获得支架的粗略定位；
[0008]c、构建三维地图：基于帧间位态关系和各帧的三维点云分布，结合捆集调整和帧间位态的优化操作，构建全局详细地图和关键帧地图；
[0009]d、位态估计：结合帧间位态粗略估计的里程计结果和关键帧地图估计支架位态，确定支架在工作面空间场景中的全局位置和位态。
[0010]进一步的，步骤a包括：
[0011]a.1、采用雷达获取工作面空间的点云图；
[0012]a.2、对点云图进行特征提取，获取三维点云特征；
[0013]3、根据权利要求2所述的基于传感技术及图像识别技术的支架位态的定标方法，其特征在于，步骤a.2中，对点云图进行特征提取包括：按照雷达的数据采集方式将点云投影到一个球空间，构成深度图，设每个雷达点的坐标为p＝(x,y,z)
T
，则三维雷达点云到深度图的球坐标变换Π:R3→
R2如式(1)将三维点云图的点的三维坐标信息转换到图像空间，
[0014][0015]式(1)中，(u,v)
T
表示三维点p在深度图中的坐标，(h,w)为期望生成的深度图的高和宽，f＝f
_up
+f
down
为雷达传感器垂直方向上的视野大小，r＝‖p‖2为每个三维点到雷达中心的距离。
[0016]优选的，步骤a.2中，将雷达获得的距离图像分割为若干个聚类，同一个聚类的点被标记上唯一的标识，将点数较少的聚类作为噪声剔除；再把距离图像水平均分为若干个子图像，对t时刻的点云扫描P
_t
中的每一个点p
_i
左右各选取若干点组合成点集S，通过式(2)计算平滑度：
[0017][0018]基于平滑度结果，获得平面点和边缘点特征集。
[0019]作为一种优选的，步骤b中，所述里程计的计算采用IMU预积分因子、激光里程计因子、回环因子三种因子实现雷达数据和惯性测量传感器的联合优化；
[0020]所述IMU预积分因子通过当前帧和前一个最近关键帧之间的IMU测量积分获得；
[0021]所述激光里程计因子通过当前帧和之前若干关键帧之间的帧图匹配结果获得；
[0022]所述回环因子通过每个关键帧和候选回环关键帧的时序相邻的前后若干个关键帧之间的帧图匹配得到。
[0023]作为另一种优选的，步骤b中，所述里程计的计算采用IMU预积分因子实现雷达数据和惯性测量传感器的联合优化，所述IMU预积分因子通过当前帧和前一个最近关键帧之间的IMU测量积分获得。
[0024]优选的，所述雷达安装在机器人上，所述关键帧地图是针对机器人的位态估计过程，基于关键帧中的特征快速构建的，实现关键帧之间的位态关系优化，并为基准参考支架提供坐标原点。
[0025]进一步的，步骤c中还包括地图更新，所述地图更新的策略如下：
[0026]统计待更新区域的关键帧的共视图关键帧，构建临时的局部地图；去除观测次数较少的、被认为是质量较差的地图点，将剩余质量较高的地图点重新加入到局部地图中；对局部地图重投影获取更多匹配对，为当前关键帧的每个特征点找到最优匹配；剔除掉冗余的关键帧。
[0027]本专利技术采用传感技术及图像识别技术，通过基于雷达数据传感机器人实时位态估计和坑道场景的三维空间重建与实时成像识别，能够实现支架位态的精确定标。
附图说明
[0028]图1为本专利技术的方法流程图。
[0029]图2为位态估计因子关系图。
具体实施方式
[0030]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，对本专利技术进行进一步详细说明。
[0031]如，本专利技术公开的基于传感技术及图像识别技术的支架位态的定标方法具体如下：
[0032]为了能够获得工作面空间的详细信息，为支架调整提供尽可能多的参考依据，这里拟利用智能采煤综合传感机器人的巡检任务，设计基于雷达数据的智能采煤综合传感机
器人实时位态估计和工作面空间场景的三维空间重建与实时成像。
[0033]整个位态估计和场景三维重建的流程如图1所示，分为四个部分：首先是对当前帧获得的雷达点云进行特征提取，获取有用的三维点云特征，以实现帧间三维点云的特征匹配；之后，基于帧间点云特征匹配，粗略估计帧间里程计的位态变化，给出粗略的定位结果；进一步，基于帧间位态关系和各帧的三维点云分布，结合捆集调整和帧间位态的优化操作，构建两幅三维地图，其中一幅是利用所有采集帧的、包含大量场景三维信息的全局详细地图，另一幅则是利用所有采集的关键帧、服务于帧间匹配的、可快速生成的关键帧地图；最后，结合帧间位态粗略估计的里程计结果和关键帧地图，获得更为详细精确位态估计，确定当前扫描时智能综合传感机器人在工作面空间场景中的全局位置和位态。
[0034]由于雷达直接输出的原始点云是无序的，即无法像图像一样能够明确的知道点云中某一点上下左右的点是哪个，因此在进行数据处理时拟考虑按照雷达的数据采集方式将点云投影到一个球空间，构成深度图。设每个雷达点的坐标为p＝(x，y，z)
T
，则三维雷达点云到深度图的球坐标变换可以表示为
[0035][0036]其中(u，v)
T
表示三维点p在深度图中的坐标，(h，w)为期望生成的深度图的高和宽，f＝f
up
+f
down
为雷达传感器垂直方向上的视野大小，r＝||p||2为每个三维点到雷达中心的距离。通过这样的变换就可以将三维点云所具备的点的三维坐标(x，y，z)
T
、反射率e等信息都转换到图像空间。基于此，可以在点云图上直接从投影的点云深度图中索引到某一点的上下或两侧的点，实现了无序点云的有序化过程。
[0037]除了点云数据的组织形式外，为了更好地获取点云特征，这里结合工作面空间的特点，拟利用雷达深度图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于传感技术及图像识别技术的支架位态的定标方法，其特征在于，包括以下步骤：a、点云图特征提取：对当前帧的点云图进行特征提取，获取三维点云特征，用于实现帧间三维点云的特征匹配；b、粗略定位：根据帧间的三维点云特征匹配结果，估计帧间里程计的位态变化，获得支架的粗略定位；c、构建三维地图：基于帧间位态关系和各帧的三维点云分布，结合捆集调整和帧间位态的优化操作，构建全局详细地图和关键帧地图；d、位态估计：结合帧间位态粗略估计的里程计结果和关键帧地图估计支架位态，确定支架在工作面空间场景中的全局位置和位态。2.根据权利要求1所述的基于传感技术及图像识别技术的支架位态的定标方法，其特征在于，步骤a包括：a.1、采用雷达获取工作面空间的点云图；a.2、对点云图进行特征提取，获取三维点云特征。3.根据权利要求2所述的基于传感技术及图像识别技术的支架位态的定标方法，其特征在于，步骤a.2中，对点云图进行特征提取包括：按照雷达的数据采集方式将点云投影到一个球空间，构成深度图，设每个雷达点的坐标为p＝(x,y,z)
T
，则三维雷达点云到深度图的球坐标变换Π:R3→
R2如式(1)将三维点云图的点的三维坐标信息转换到图像空间，式(1)中，(u,v)
T
表示三维点p在深度图中的坐标，(h,w)为期望生成的深度图的高和宽，f＝f
_up
+f
down
为雷达传感器垂直方向上的视野大小，r＝‖p‖2为每个三维点到雷达中心的距离。4.根据权利要求3所述的基于传感技术及图像识别技术的支架位态的定标方法，其特征在于，步骤a.2中，将雷达获得的距离图像分割为若干个聚类，同一个聚类的点被标记上唯一的标识，将点数较少的聚类作为噪声剔除；再把距...

【专利技术属性】
技术研发人员：黎亮，雷仁中，冯春，余玉江，陈显坤，周勇，陈飞，杨海宾，俞卫中，喻其祥，胡大裟，吴云亮，董婷婷，余晓辉，
申请(专利权)人：成都技转创新连线科技集团有限公司四川川煤华荣能源有限责任公司，
类型：发明
国别省市：