煤矿井下环境建模方法及系统技术方案

本发明专利技术公开了一种煤矿井下环境建模方法及系统，包括：采集煤矿井下环境的图像信息；提取环境图像中若干匹配点对；计算匹配点对的基础矩阵；计算匹配点对的投影矩阵；计算匹配点对对应的环境空间三维点坐标并得到三维点云；对三维点云进行着色，得到着色后的三维点云。本发明专利技术能够快速、稳定地建立三维环境模型，得到更加致密的带有色彩的点云模型，便于巡检机器人快速、准确地识别目标。准确地识别目标。准确地识别目标。

【技术实现步骤摘要】
煤矿井下环境建模方法及系统


[0001]本专利技术涉及环境建模领域，具体涉及一种煤矿井下环境建模方法及系统。

技术介绍

[0002]煤矿资源又被称作“乌金”，是非常重要的资源，到目前为止，煤矿依然是我国主要的能源供应之一。在煤矿开采过程中，各类矿难事故已屡见不鲜，因此，提升采矿安全尤为重要。随着安全技术的较快发展，对于煤矿安全方面，研发出了多款矿井安全巡检机器人，用于辅助人工进行煤矿安全检测，同时还可以对其中每一项检测过程留下详实的记录。
[0003]由于矿井内有很多不规则的非结构化地形，因此周围环境三维模型的建立，对巡检机器人进行矿井安全巡检起到了至关重要的作用，完整、准确的环境模型可以让巡检机器人正确地判断出巡检场景，准确地检测到不安全的因素，进行上报或者自行排除。
[0004]目前巡检机器人的环境重建算法大都存在建模精度不够，建模速度较低等缺点，使得实时性的三维重建出现困难，不能及时地发现安全隐患。现有的一种“巡检机器人”使用激光雷达进行环境建模的方法，可以建立周围环境模型，但是激光雷达建立的模型没有颜色信息，不利于分辨目标，而且容易受外界恶劣环境的干扰。

技术实现思路

[0005]有鉴于此，本专利技术的目的是克服现有技术中的缺陷，提供煤矿井下环境建模方法及系统，能够快速、稳定地建立三维环境模型，得到更加致密的带有色彩的点云模型。
[0006]本专利技术的煤矿井下环境建模方法，包括如下步骤：
[0007]S1.采集煤矿井下的环境图像信息；
[0008]S2.提取环境图像信息中图像的若干匹配点对；
[0009]S3.对若干匹配点对进行处理，得到环境空间三维点云，具体包括：
[0010]S31.计算匹配点对的初始基础矩阵，并对初始基础矩阵进行优化处理，得到基础矩阵；
[0011]S32.对基础矩阵进行估计，得到本质矩阵，并对本质矩阵进行分解，得到旋转矩阵以及平移矩阵；
[0012]S33.基于旋转矩阵以及平移矩阵，计算得到投影矩阵；通过投影矩阵计算匹配点对对应的环境空间三维点坐标；
[0013]S34.将若干匹配点对分别对应的环境空间三维点坐标所组成的集合作为环境空间三维点云；
[0014]S4.分别将若干匹配点对的颜色赋予到对应的三维点上，得到着色后的三维点云。
[0015]进一步，提取环境图像信息中图像的若干匹配点对，具体包括：
[0016]S21.在多尺度拉普拉斯金字塔下提取Harris角点，并将每个角点P
c
的邻域分为一个若干半径不同的同心圆；
[0017]S22.将每个圆区域均匀分为若干不重叠子区域，将P
c
点的方向设置为CCH描述子
的0
°
方向，并以最小半径同心圆0
°
的子区域为r1；
[0018]S23.定义角点P
c
邻域内一点P的对比度值C(p)：
[0019]C(p)＝I(p)
‑
I(p
c
)；
[0020]其中，I(P
c
)和I(P)分别为P
c
点和P点的灰度值；
[0021]S24.将所有子区域的对比度函数值组成的向量作为P
c
点的CCH描述向量，并将向量归一化处理以获得线性光照不变性，得到点P
c
的描述子；
[0022]S25.遍历待匹配图像和匹配图像之间的特征点以进行匹配，并将与待匹配点P
c
的欧式距离最小的两个匹配点作为匹配点对。
[0023]进一步，计算匹配点对的初始基础矩阵，并对初始基础矩阵进行优化处理，得到基础矩阵，具体包括：
[0024]设定计数器i＝0和循环次数N，当i<N时，按照如下步骤进行操作：
[0025]A1.从若干匹配点对中取K组匹配点对，并将K组匹配点对进行归一化处理，得到归一化后的匹配点对；
[0026]A2.对归一化后的匹配点对通过设定公式进行计算，得到初始基础矩阵；所述设定公式为X
cT
F
′
X
c
′
＝0，其中，X
c
与X
c
′
为一组匹配点对，F
′
为初始基础矩阵；
[0027]A3.解除归一化，设定匹配距离D，将匹配距离D取得最小值时设置的初始基础矩阵作为基础矩阵；所述匹配距离D为：
[0028][0029]其中，inliers表示内点，outliers表示外点，d为匹配点对依据设定公式的计算结果，t为设定阈值。
[0030]进一步，根据如下公式确定本质矩阵E：
[0031]E＝K
′
T
FK；
[0032]其中，K为第一内参矩阵，K
′
为第二内参矩阵，F为基础矩阵。
[0033]进一步，根据如下公式确定投影矩阵P：
[0034]P＝K
×
[R t]；
[0035]其中，[R t]为外参矩阵，t为平移矩阵，R为旋转矩阵。
[0036]进一步，根据如下公式确定匹配点对X
c
和X
c
′
与对应的空间环境空间三维点X
w
的关系：
[0037][0038]其中，p1、p2、p3为投影矩阵P对应的行向量，p1′
、p2′
、p3′
为投影矩阵P
′
对应的行向量，X
c
的像素点坐标为(u,v,1)，X
′
c
的像素点坐标为(u
′
,v
′
,1)。
[0039]进一步，所述步骤S2，还包括：采用KLT算法对若干匹配点对进行更新。
[0040]进一步，所述步骤S34，还包括：使用光束平差法对环境空间三维点云进行优化。
[0041]一种煤矿井下环境建模系统，包括采集单元以及与采集单元通信连接的计算单元；
[0042]所述采集单元，用于采集煤矿井下的环境图像信息；
[0043]所述计算单元，用于提取环境图像信息中图像的若干匹配点对，对若干匹配点对进行处理，得到环境空间三维点云，分别将若干匹配点对的颜色赋予到对应的三维点上，得到着色后的三维点云。
[0044]进一步，所述采集单元包括巡检机器人以及设置于巡检机器人的图像采集设备；
[0045]所述计算单元包括计算机。
[0046]本专利技术的有益效果是：本专利技术公开的一种煤矿井下环境建模方法及系统，通过导入图像，计算CCH描述子，得到匹配点对；计算基础矩阵，结合内参矩阵得到本质矩阵；通过对本质矩阵E的分解得旋转矩阵R和平移矩阵T，并结合相机内参恢复出相机的投影矩阵；采用KLT算法，跟踪特征点，更新匹配数据；计算三维点，光束平差优化生成点云；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种煤矿井下环境建模方法，其特征在于：包括如下步骤：S1.采集煤矿井下的环境图像信息；S2.提取环境图像信息中图像的若干匹配点对；S3.对若干匹配点对进行处理，得到环境空间三维点云，具体包括：S31.计算匹配点对的初始基础矩阵，并对初始基础矩阵进行优化处理，得到基础矩阵；S32.对基础矩阵进行估计，得到本质矩阵，并对本质矩阵进行分解，得到旋转矩阵以及平移矩阵；S33.基于旋转矩阵以及平移矩阵，计算得到投影矩阵；通过投影矩阵计算匹配点对对应的环境空间三维点坐标；S34.将若干匹配点对分别对应的环境空间三维点坐标所组成的集合作为环境空间三维点云；S4.分别将若干匹配点对的颜色赋予到对应的三维点上，得到着色后的三维点云。2.根据权利要求1所述的煤矿井下环境建模方法，其特征在于：提取环境图像信息中图像的若干匹配点对，具体包括：S21.在多尺度拉普拉斯金字塔下提取Harris角点，并将每个角点P
c
的邻域分为一个若干半径不同的同心圆；S22.将每个圆区域均匀分为若干不重叠子区域，将P
c
点的方向设置为CCH描述子的0
°
方向，并以最小半径同心圆0
°
的子区域为r1；S23.定义角点P
c
邻域内一点P的对比度值C(p)：C(p)＝I(p)
‑
I(p
c
)；其中，I(P
c
)和I(P)分别为P
c
点和P点的灰度值；S24.将所有子区域的对比度函数值组成的向量作为P
c
点的CCH描述向量，并将向量归一化处理以获得线性光照不变性，得到点P
c
的描述子；S25.遍历待匹配图像和匹配图像之间的特征点以进行匹配，并将与待匹配点P
c
的欧式距离最小的两个匹配点作为匹配点对。3.根据权利要求1所述的煤矿井下环境建模方法，其特征在于：计算匹配点对的初始基础矩阵，并对初始基础矩阵进行优化处理，得到基础矩阵，具体包括：设定计数器i＝0和循环次数N，当i<N时，按照如下步骤进行操作：A1.从若干匹配点对中取K组匹配点对，并将K组匹配点对进行归一化处理，得到归一化后的匹配点对；A2.对归一化后的匹配点对通过设定公式进行计算，得到初始基础矩阵；所述设定公式为其中，X

【专利技术属性】
技术研发人员：蒋华强，毕玉，游青山，
申请(专利权)人：重庆工程职业技术学院，
类型：发明
国别省市：