一种沉浸式掘进工作面视频增强显示系统技术方案

本发明专利技术提供了一种沉浸式掘进工作面视频增强显示系统，该系统由安装在掘进机机身上的全景视频测量和采集系统、导航定位系统、视频处理器，以及安装在远端操控平台上的全景显示软件四部分组成；全景视频测量和采集系统用于获取掘进工作面全景视频图像；导航定位系统用于定义巷道的绝对坐标系；视频处理器通过一系列坐标转换将掘进机炮头和巷道截割断面轮廓的坐标转换成对应的全景视频图像中的像素点，进而在全景视频图像中绘制巷道截割断面轮廓线。本发明专利技术的目的是通过全景成像的方式，提升驾驶员在远端控制台的视频沉浸感；通过在全景视频上叠加截割断面和截割炮头信息，采用图像增强的方法，辅助远程截割操作和监控。辅助远程截割操作和监控。辅助远程截割操作和监控。

【技术实现步骤摘要】
一种沉浸式掘进工作面视频增强显示系统


[0001]本专利技术涉及煤矿掘进工作面视频监控系统，具体是一种沉浸式掘进工作面视频增强显示系统。

技术介绍

[0002]随着国家智慧矿山建设要求的提出，煤矿智能化建设也得到了广泛的关注和投入。掘进工作面作为煤矿井下最重要和最危险的工作区域，其智能化是煤矿智能化建设的重中之重。
[0003]目前，掘进工作面智能化的主要技术途径是通过“导航定位+自动截割+视频阵列”的形式实现的，即通过导航定位手段获取掘进机机身关键点(如机身控制轴心、炮头顶点灯)在巷道内的坐标，并结合截割工艺要求和截割断面坐标，编制截割控制算法，实现自动或智能截割。同时驾驶员在远端控制台以视频阵列作为辅助手段，用于监控现场的情况。但在实际使用过程中发现，该方案存在以下两点问题：
[0004](1)自动截割完全以导航定位的坐标结果为基准，缺乏与视频信息的相互关联和相互印证；
[0005](2)视频阵列中各个相机的图像在远程控制台显示时仅仅是平铺显示在显示器中，导致操作人员缺乏空间立体感和沉浸感，无法完全依照视频进行远程操作。

技术实现思路

[0006]本专利技术的目的在于提供一种沉浸式掘进工作面视频增强显示系统，通过全景成像的方式，提升驾驶员在远端控制台的视频沉浸感；并通过在全景视频上叠加截割断面和截割炮头信息，采用图像增强的方法，辅助远程截割操作和监控，以解决上述
技术介绍
中提出的问题。
[0007]为实现上述目的，本专利技术提供如下技术方案：
[0008]一种沉浸式掘进工作面视频增强显示系统，该系统由安装在掘进机机身上的全景视频测量和采集系统、导航定位系统、视频处理器，以及安装在远端操控平台上的全景显示软件四部分组成；
[0009]全景视频测量和采集系统用于获取掘进工作面全景视频图像；
[0010]导航定位系统用于定义巷道的绝对坐标系，并且提供掘进机炮头和巷道截割断面轮廓在该绝对坐标系中的坐标；
[0011]视频处理器通过一系列坐标转换将掘进机炮头和巷道截割断面轮廓的坐标转换成对应的全景视频图像中的像素点，进而在全景视频图像中绘制巷道截割断面轮廓线，并将掘进机炮头模型叠加到全景视频图像中，实现视频增强效果；
[0012]全景显示软件以柱面或球面投影的形式，在显示器上显示增强后的全景视频图像。
[0013]作为本专利技术进一步的方案：所述全景视频测量和采集系统由紧密安装在掘进机机
身上且预先已知转换矩阵的全景相机和标定相机组成；全景相机和标定相机之间的转换矩阵在出厂前预先标定已知。
[0014]作为本专利技术进一步的方案：所述全景相机由集成在一起的多个子摄像机组合形成，组合形式采用紧密集成封装；全景相机可覆盖的视场范围为180
°‑
360
°
之间；标定相机为可测量目标点空间坐标的深度相机或者双目相机。
[0015]作为本专利技术进一步的方案：所述全景视频测量和采集系统安装在掘进机机身上后，需要预先标定全景坐标系与掘进机机身坐标系之间的转换矩阵具体的标定方法如下：
[0016]首先通过掘进机机身机械结构、掘进机炮头的俯仰角和横滚角可以得到掘进机炮头上特征点在掘进机机身坐标系中的坐标P
炮头_机身
；随后采用全景视频测量和采集系统中的标定相机测量掘进机炮头上特征点在标定相机坐标系中的坐标P
炮头_标定
；
[0017]通过上述方法对不同位置的掘进机炮头特征点进行测量，采用点云匹配的方法，可以得到掘进机机身坐标系到标定相机坐标系的旋转矩阵
[0018][0019]作为本专利技术进一步的方案：所述视频处理器用于接收全景视频图像，以及将巷道截割断面轮廓和掘进机炮头映射在全景视频图像上，实现增强显示；具体的映射方法如下：
[0020]首先视频处理器接收导航定位系统输出的巷道截割断面和掘进机炮头在巷道坐标系中的坐标P
断面_巷道
、P
炮头_巷道
；随后通过运算得到巷道截割断面和掘进机炮头在全景视频图像中对应的像素点坐标，运算过程如下：
[0021][0022][0023]其中，H
内参
是全景相机的内参矩阵，可通过对全景相机标定预先获得；是掘进机机身相对于巷道的旋转矩阵，该矩阵可由导航定位系统给出的掘进机位置坐标和姿态坐标推导出来。
[0024]与现有技术相比，本专利技术的有益效果是：
[0025]本专利技术采用上述结构后，通过全景成像的方式，提升驾驶员在远端控制台的视频沉浸感；通过坐标转换解算，将截割断面轮廓线和截割炮头模型叠加在全景视频图像中，实现了现实信息对平面图像的增强，辅助远程截割操作和监控；采用全景显示软件对增强后的视频图像进行投影显示，提升了操作人员的驾驶沉浸感，便于人员操作。
附图说明
[0026]图1为一种沉浸式掘进工作面视频增强显示系统的架构示意图。
[0027]图2为一种沉浸式掘进工作面视频增强显示系统中全景相机的结构示意图。
[0028]图3为一种沉浸式掘进工作面视频增强显示系统中掘进机的结构示意图。
[0029]图4为截割断面与炮头向全景图像投射的坐标转换关系示意图。
[0030]图5为全景图像柱面投影的示意图。
[0031]图中：1、掘进机；2、巷道坐标系；3、导航定位系统；31、掘进机机身坐标系；4、全景视频测量和采集系统；41、全景相机；401、子摄像机；42、标定相机；43、全景坐标系；5、巷道截割断面轮廓；6、掘进机炮头；7、叠加截割断面和炮头后的全景图像；71、全景图像中的截割断面；72、全景图像中的炮头；8、叠加截割断面和炮头后的全景图像的柱面投影图像；81、柱面投影图像中的截割断面；82、柱面投影图像中的炮头。
具体实施方式
[0032]下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
[0033]请参阅图1
‑
5，一种沉浸式掘进工作面视频增强显示系统，该系统由安装在掘进机1机身上的全景视频测量和采集系统4、导航定位系统3、视频处理器，以及安装在远端操控平台上的全景显示软件四部分组成。
[0034]全景视频测量和采集系统4用于获取掘进工作面全景视频图像。
[0035]导航定位系统3能够定义巷道的绝对坐标系，并且提供掘进机炮头和巷道截割断面轮廓在该绝对坐标系中的坐标。
[0036]视频处理器通过一系列坐标转换将掘进机炮头和巷道截割断面轮廓的坐标转换成对应的全景视频图像中的像素点，进而在全景视频图像中绘制巷道截割断面轮廓线，并将掘进机炮头模型叠加到全景视频图像中，实现视频增强效果；增强后的全景视频图像通过全景显示软件以柱面或球面投影的形式在显示器上显示。视频处理器主要用于将导航定位系统反馈的真实场景中的截割断面轮廓坐标、截割炮头坐标信息进行处理，并将截割断面轮廓和截割炮头的模型叠加到全景视频画面中，从而实现视频增强效果。
[0037]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种沉浸式掘进工作面视频增强显示系统，其特征在于，该系统由安装在掘进机机身上的全景视频测量和采集系统、导航定位系统、视频处理器，以及安装在远端操控平台上的全景显示软件四部分组成；全景视频测量和采集系统用于获取掘进工作面全景视频图像；导航定位系统用于定义巷道的绝对坐标系，并且提供掘进机炮头和巷道截割断面轮廓在该绝对坐标系中的坐标；视频处理器通过一系列坐标转换将掘进机炮头和巷道截割断面轮廓的坐标转换成对应的全景视频图像中的像素点，进而在全景视频图像中绘制巷道截割断面轮廓线，并将掘进机炮头模型叠加到全景视频图像中，实现视频增强效果；全景显示软件以柱面或球面投影的形式，在显示器上显示增强后的全景视频图像。2.根据权利要求1所述的一种沉浸式掘进工作面视频增强显示系统，其特征在于，所述全景视频测量和采集系统由紧密安装在掘进机机身上且预先已知转换矩阵的全景相机和标定相机组成；全景相机和标定相机之间的转换矩阵在出厂前预先标定已知。3.根据权利要求2所述的一种沉浸式掘进工作面视频增强显示系统，其特征在于，所述全景相机由集成在一起的多个子摄像机组合形成，组合形式采用紧密集成封装；全景相机可覆盖的视场范围为180
°‑
360
°
之间；标定相机为可测量目标点空间坐标的深度相机或者双目相机。4.根据权利要求2所述的一种沉浸式掘进工作面视频增强显示系统，其特征在于，所述全景视...

【专利技术属性】
技术研发人员：李瑞，付常亮，
申请(专利权)人：北京唯实深蓝科技有限公司，
类型：发明
国别省市：