一种储煤场三维实景重构系统及煤量快速估算方法技术方案

一种储煤场三维实景重构系统及煤量快速估算方法，属于计算机视觉技术领域。重构系统，包括高清摄像头、工业级四旋翼无人机、无人机地面站和数据服务器；所述高清摄像头、工业级四旋翼无人机、无人机地面站构成系统的数据采集部分；所述工业级四旋翼无人机用于搭载高清摄像头，获取储煤场的正射图像；所述无人机地面站控制无人机在储煤场内按巡航路径飞行；所述数据服务器通过无线网络接收高清摄像头获取的正射影像，进行储煤场三维虚拟重构，并对煤量进行估算。优点：具有较高的煤量估算精度，适用于大规模露天储煤场的煤量估算，能推广应用于其他行业的堆场储运管理。准确的核算出煤矿、煤运港口和火力发电厂等生产或使用煤炭的储煤场的煤量。

【技术实现步骤摘要】
一种储煤场三维实景重构系统及煤量快速估算方法
本专利技术涉及一种计算机视觉
的储煤场煤量快速估算方法，特别是一种储煤场三维实景重构系统及煤量快速估算方法。
技术介绍
对于煤矿、煤运港口和火力发电厂等生产或使用煤炭的企业，准确的核算储煤场的煤量对上述企业的经营决策和生产计划制定至关重要，直接影响着企业的经济效益。目前，通常采用激光测量或摄影测量来代替人工估算方法，实现储煤场煤量的估算，提高储运管理的实时性和准确性。其中，激光测量主要根据激光打点得到的煤堆表面坐标，形成三维点云，实现对煤堆的重构和煤量估算；文献(张文军、舒新前、姜洪才等，基于激光三维扫描的不规则煤场测量系统设计[J].煤炭科学技术,2009(5):111-114.)，专利(程力、王秋颖、陆闽宁等，一种远程高精度全范围激光盘煤系统；CN203719624U[P].2014.)设计一种远程高精度全范围激光盘煤系统，在堆取料机门架上安装转动云台与激光扫描仪，定位更加精确，相对测量误差和重复测量误差更小；煤储量测量结果更加精确。与之不同，摄影测量主要采用运动恢复结构算法重构煤场的三维模型，进而得到煤堆的体积信息；文献(程健、祖丰收、王东伟等，露天储煤场无人机自动盘煤系统研究[J].煤炭科学技术,2016,44(5):160-165.)采用无人机获取融合GPS精确定位信息的煤场高清图像，并应用运动恢复结构算法，重构得到露天储煤场的三维实景模型。文献(董建伟、李海滨、孔德明等，基于多视图立体视觉的煤场三维建模方法研究[J].燕山大学学报,2016,40(2):136-141.)将无人机图像与多视图三维重建技术相结合，采用无人机搭载摄像机进行港口煤场图像采集，根据运动恢复结构和稠密立体匹配的重建原理，实现煤场三维重建。以上两种方法均存在一定局限性。激光测量法实现简单，但是储煤场环境具有多粉尘、多水雾特性，会严重影响激光测量的准确性，并且激光探头的布置受制于场地，布置的探头数量不能保证点云的准确性。特别在煤炭港口的露天储煤场中，该类问题对煤量估算的准确性影响显著。摄影测量对环境适应性好，不需要布设固定检测装置，只需要采用无人机搭载高清摄像头，通过对煤场进行全景拍摄，采用先进的图像处理技术，即可以准确的重构出储煤场的三维模型。但是，通常需要依靠高清图像来保证重构模型的准确性，从而增加了重构算法的时间复杂度。
技术实现思路
本专利技术的目的是要提供一种储煤场三维实景重构系统及煤量快速估算方法，解决激光测量法中因激光探头的布置对煤量估算的准确性不够以及摄影测量法中依靠高清图像来保证重构模型的准确性，从而增加了重构算法的时间复杂度的问题。本专利技术的目的是这样实现的：包括储煤场三维实景重构系统和基于储煤场三维实景重构系统的煤量快速估算方法。储煤场三维实景重构系统，包括高清摄像头、工业级四旋翼无人机、无人机地面站和数据服务器；所述高清摄像头、工业级四旋翼无人机、无人机地面站构成系统的数据采集部分；所述工业级四旋翼无人机用于搭载高清摄像头，获取储煤场的正射图像；所述无人机地面站控制无人机在储煤场内按巡航路径飞行；所述数据服务器通过无线网络接收高清摄像头获取的正射影像，进行储煤场三维虚拟重构，并对煤量进行估算。基于储煤场三维实景重构系统的煤量快速估算方法，包括如下步骤：步骤1)对高清摄像头采集的正射图像进行预处理，并提取图像的特征点；步骤2)结合EXIF信息，采用光束平差法，计算两幅图像特征点之间的投影误差；步骤3)求解投影误差函数，得到特征点的真实坐标，构建稀疏点云；步骤4)根据稀疏点云生成稠密点云，并重构储煤场表面；步骤5)采用积分法估算煤堆体积，快速核算真实煤量。所述的步骤1)的具体内容为：11)针对高清摄像头采集的正射图像进行高斯模糊处理，并采用均值降采样缩小图像容量；12)计算处理后图像的积分图：其中，x,y表示图像中像素点的坐标，I(i,j)表示横坐标为坐标为i，纵坐标为j的像素点的灰度值，IΣ(x,y)表示积分区域的像素累积灰度值；13)基于上述积分图，利用滑动窗口法，近似计算出各个像素点的二阶偏导数Dxx、Dxy、Dyy，进而求出该像素点的Hessian矩阵的模值ΔH：ΔH(x,y)＝DxxDyy-(μDxy)2(2)其中，μ为比例系数；此处，滑动窗口选取不同尺寸，生成不同模值矩阵；设选取r个不同尺寸的滑动窗口，其取值为ωi∈(9,15,27,34)，i＝1,2,…,r，采用不同大小的滑动窗口对图像处理r次，计算所得的模值矩阵构成图像金字塔；14)采用非极大值抑制方法，在图像金字塔的各个层级中寻找极值点，其对应的原始图片中相应的像素点，即为特征点；15)记sl为第l个特征点所在的金字塔层数，计算该特征点周围4s×4s范围内各个像素的小波响应，将得到的小波响应以特征点为中心进行高斯函数加权，选取具有最大加权值的方向作为特征点的方向；16)以第l个特征点为中心，取20s×20s个像素，采用模板，计算该区域内s×s大小的子区域中各个像素的哈尔小波响应值；记子区域水平与竖直方向的哈尔小波响应分别为hx和hy，则第n个特征点的描述vl为：其中，i,j为子区域在20s×20s区域内的坐标。所述步骤2)的具体内容为：21)读取已有标记图像的EXIF信息，将图像按GPS位置和采样时间进行排列；22)记采样总次数为Nc，每张图像中的特征点个数为N3D，qlm表示第m次采样下的第l个特征点的二维坐标，Ql为qlm在实景中对应点的三维坐标，Rm为像机旋转矩阵，tm为坐标转换矩阵，Km为像机参数修正矩阵，g(Ql,Rm,tm,Km)表示从二维图像到三维实景的映射函数，则根据光束平差法，计算特征点的重投影误差E为：23)记同一特征点之间的轨迹长度为γl，轨迹长度的均值为μl，轨迹长度的方差为σl，特征点现实坐标与真实坐标之间的残差为slm＝||qlm-g(Ql,Rm,tm,Km)||2，则该特征点的鲁棒性误差函数为：24)根据光束平差法和鲁棒性误差函数，得到两幅连续图像之间的投影误差函数为：所述的步骤3)的具体内容为：31)根据图像的GPS位置信息，初始化Ql(0)；32)计算鲁棒性误差函数的雅可比矩阵采用Levenberg–Marquardt迭代法计算Ql(k+1)＝Ql(k)-(JTJ+ωI)-1JTρlm，得到使E最小的特征点真实坐标Ql(k′)；33)基于特征点的真实坐标，构建储煤场三维虚拟场景的稀疏点云。所述步骤4)的具体内容为：41)计算所有匹配特征点的光度函数g(qlm,qkn)：g(qlm,qkn)＝f(qlm)·f(qkn)(7)其中，qlm和qkn表示相匹配的一对特征点，f(qlm)表示该特征点周围5×5区域的归一化交叉相关值；42)选取第m个采样时刻的第l个特征点周围5×5的区域记为plm，对plm进行扩展，任意追加一个与plm相邻的2×2区域，计算新区域光度；若光度值变化不超过光度变化阈值，则将2×2邻域的中心点所对应的真实坐标记入点云，并将两个区域组合形成新的plm；43)重复步骤42)，直到遍历所有图像，形成稠密点云；44)计算任意两个扩展后plm之间的距离，若小于接近度阈值ζ，则删去其中任意一个plm所包含的点云，实现对稠密点云的滤波；45)计本文档来自技高网...

【技术保护点】
1.一种储煤场三维实景重构系统，其特征是：储煤场三维实景重构系统，包括高清摄像头、工业级四旋翼无人机、无人机地面站和数据服务器；所述高清摄像头、工业级四旋翼无人机、无人机地面站构成系统的数据采集部分；所述工业级四旋翼无人机用于搭载高清摄像头，获取储煤场的正射图像；所述无人机地面站控制无人机在储煤场内按巡航路径飞行；所述数据服务器通过无线网络接收高清摄像头获取的正射影像，进行储煤场三维虚拟重构，并对煤量进行估算。

【技术特征摘要】
1.一种储煤场三维实景重构系统，其特征是：储煤场三维实景重构系统，包括高清摄像头、工业级四旋翼无人机、无人机地面站和数据服务器；所述高清摄像头、工业级四旋翼无人机、无人机地面站构成系统的数据采集部分；所述工业级四旋翼无人机用于搭载高清摄像头，获取储煤场的正射图像；所述无人机地面站控制无人机在储煤场内按巡航路径飞行；所述数据服务器通过无线网络接收高清摄像头获取的正射影像，进行储煤场三维虚拟重构，并对煤量进行估算。2.一种基于储煤场三维实景重构系统的煤量快速估算方法，其特征是：基于储煤场三维实景重构系统的煤量快速估算方法，包括如下步骤：步骤1)对高清摄像头采集的正射图像进行预处理，并提取图像的特征点；步骤2)结合EXIF信息，采用光束平差法，计算两幅图像特征点之间的投影误差；步骤3)求解投影误差函数，得到特征点的真实坐标，构建稀疏点云；步骤4)根据稀疏点云生成稠密点云，并重构储煤场表面；步骤5)采用积分法估算煤堆体积，快速核算真实煤量。3.根据权利要求2所述的一种储煤场三维实景重构系统的煤量快速估算方法，其特征是：所述的步骤1)的具体内容为：11)针对高清摄像头采集的正射图像进行高斯模糊处理，并采用均值降采样缩小图像容量；12)计算处理后图像的积分图：其中，x,y表示图像中像素点的坐标，I(i,j)表示横坐标为坐标为i，纵坐标为j的像素点的灰度值，IΣ(x,y)表示积分区域的像素累积灰度值；13)基于上述积分图，利用滑动窗口法，近似计算出各个像素点的二阶偏导数Dxx、Dxy、Dyy，进而求出该像素点的Hessian矩阵的模值ΔH：ΔH(x,y)＝DxxDyy-(μDxy)2(2)其中，μ为比例系数；此处，滑动窗口选取不同尺寸，生成不同模值矩阵；设选取r个不同尺寸的滑动窗口，其取值为ωi∈(9,15,27,34)，i＝1,2,…,r，采用不同大小的滑动窗口对图像处理r次，计算所得的模值矩阵构成图像金字塔；14)采用非极大值抑制方法，在图像金字塔的各个层级中寻找极值点，其对应的原始图片中相应的像素点，即为特征点；15)记sl为第l个特征点所在的金字塔层数，计算该特征点周围4s×4s范围内各个像素的小波响应，将得到的小波响应以特征点为中心进行高斯函数加权，选取具有最大加权值的方向作为特征点的方向；16)以第l个特征点为中心，取20s×20s个像素，采用模板，计算该区域内s×s大小的子区域中各个像素的哈尔小波响应值；记子区域水平与竖直方向的哈尔小波响应分别为hx和hy，则第n个特征点的描述vl为：其中，i,j为子区域在20s×20s区域内的坐标。4.根据权利要求2所述的一种储煤场三维实景重构系...

【专利技术属性】
技术研发人员：程健，刚域森，郭一楠，李明杰，叶亮，张俊，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32