一种虚拟现实矿井综采工作面的远程巡检干预方法技术

一种虚拟现实矿井综采工作面的远程巡检干预方法是将综采工作面装备实时传回的数据及物探数据构建虚拟软件，实时数据驱动虚拟综采工作面并呈现在多种虚拟现实硬件与软件构建的综采VR追踪与交互中心中，利用多种虚拟现实人机交互手段与虚拟人机交互界面进行虚拟操作，虚拟现实硬件与软件对操作人员位置、姿态和动作进行捕捉，并将虚拟操作转化为现实指令并接入集中控制中心进行真实设备的操作，指引相对应操作的设备完成调整工作，进而完成远程人工干预和人工巡检任务，并对真实的综采工作面实时运行工况进行真实呈现，进而进行监控。本方法在远离生产现场安全的地方直接对运行异常的设备进行远程人工干预，支持多人进行协同和同时巡检工作。

【技术实现步骤摘要】
一种虚拟现实矿井综采工作面的远程巡检干预方法
本专利技术涉及一种虚拟矿井综采工作面设备运行的监测控制方法，尤其是一种实时虚拟综采工作面工况环境下，通过人机交互对设备进行远程监测干预的方法。
技术介绍
在煤炭领域，虚拟现实技术由于具备先天的沉浸性、交互性，也越来越受到重视并在局部开展了试验性应用，取得了较多的研究成果，包括煤矿虚拟现实场景仿真、教育培训、煤矿装备虚拟现实监测监控虚拟规划和“VR+AR”技术融合设计等方面；但和其他工业领域应用相比，在深度和广度上还有较大迟滞甚至落后，离真正的工业化应用还有相当大的距离。现有我国综采自动化水平已经总体提出了“无人操作、有人巡视”综采常态运行策略，并在一些条件较好、自动化水平较高的煤矿得以应用，其中远程干预和巡检技术是此项技术中最重要的一部分之一。现有技术中，申请号为201610754468.9名称为“一种以自动割煤为主远程干预为辅的采煤机采煤控制方法”，该专利技术采煤机为双滚筒采煤机，该方法采用的控制系统包括控制器、无线通信模块、控制计算机、数据存储器、摄像头、位移传感器、左摇臂角度传感器和右摇臂角度传感器；采煤机采煤控制方法包括以下步骤：一是人工示教，二是以自动割煤为主远程干预为辅的控制方式控制采煤机进行采煤，采煤机进行自动割煤的过程中，当操作人员判断为需要人工调整采煤机姿态时，操作人员进行人工干预控制，调整采煤机割煤姿态，调整完毕后，退出远程人工干预，采煤机恢复自动割煤状态；本专利技术方法步骤简单，设计合理且实现方便，既达到了减员增效的目的，又提高了安全系数，实用性强，便于推广使用。公开论文一种“可视化远程干预型智能化采煤关键控制技术研究”进行了可视化远程干预型智能化采煤控制技术的研究，通过采用基于视频追踪、接力和拼接技术的工作面远景实时呈现的方法，研究了远程干预集中操作技术，集成融合采煤机记忆割煤技术，工作面跟机自动化控制技术，研制了综采智能控制系统；试验结果表明：实现了工作面内无人操作的智能采煤常态化运行，将综采工作面每班作业人数由平均15人减少到3人，因此利用该项技术能够实现综采工作面设备的智能化运行，能有效减少作业人数和提高综采工作面的安全生产水平。公开论文一种“可视远程干预无人化开采技术研究”从其技术原理、总体方案和系统功能深入分析，提出了“无人操作、有人巡视”的无人开采生产模式，即采用拟人手法，将人的视觉、听觉延伸到工作面，将工人从危险的工作面采场解放到相对安全的巷道监控中心或地面，实现在巷道监控中心或地面对液压支架、采煤机、刮板输送机等综采设备进行远程操控，达到工作面无人开采的目的，并提出液压支架控制技术、采煤机控制技术、工作面视频监控技术、远程集中控制技术和人员安全感知技术是可视远程干预无人化开采的关键技术；现场应用表明：可视远程干预无人化开采技术和经济社会效益良好，其是未来工作面实现自适应型智能化无人开采的初级阶段，对实现自适应型智能化无人开采和机器人采煤提供了基础探索研究。基于虚拟现实技术的综采监控方法，主要有申请号为201610702234.X公开的一种“基于虚拟现实的采煤机调高远程控制方法”，包括步骤一、采煤机开采工况监控系统搭建：搭建采煤机开采工况监控系统；采煤机开采工况监控系统包括声音强度检测装置、下位监控装置和上位监控机；步骤二、三维建模型；步骤三、煤层开采与开采过程同步模拟：采用采煤机沿工作面推进方向由后向前对待开采煤层进行开采，对当前工作面的任一个开采位置进行开采时，过程如下：采煤机实际开采工况信息检测及同步上传、截割工况诊断、采煤机调高判断、采煤机截割高度调整和采煤机开采工况同步模拟；该方法步骤简单、设计合理且实现简便，使用效果好，自动实时对采煤机调高进行远程控制，并能对采煤机开采工况进行同步模拟。申请号为201710323280.3，名称为“一种基于局域网协同的综采工作面虚拟监测方法”公开了一种在局域网环境下，在虚拟现实引擎Unity3d环境下建立真实综采工作面的镜像，然后利用数据监测主机实时采集的实际工作面并实时存放进入工作面数据库SQLSERVER2008数据库的数据，位于不同位置的多台数据分析服务器实时读取数据库中相对应的数据，通过姿态解算模块和预测模块并且实时对相对应的虚拟现实设备进行驱动，多台主机通过C/S架构，采用局域网协同方式，互相随时同步数据，合成一个整体工作面全景画面，实现对真实工作面进行三维可视化虚拟监测和在线对历史数据进行分析和预测的方法；本方法能够三维全景实时显示工作面的运行状态，后台嵌入综采运行预测预警模型，能够实现直观可视化的故障诊断与预测，为综采工作面高效安全运行提供技术支撑，采用分布式理念进行综采工作面设备的监测，但此不涉及实时反向控制综采设备。但上述方法的缺陷在于：一是综采工作面远程人工干预方法主要是基于视频画面进行判定，容易出现灰尘水汽造成的效果差的问题，从而影响人工远程干预执行效果；二是基于虚拟现实的人工远程干预主要是基于一个显示屏的虚拟画面进行监测，从而进行远程干预，工作面身临其境的效果较差，并没有搭建一个真实的具有沉浸性的效果极佳的监测画面；三是现有的“智能化无人开采”仍得进行有人进行生产现场进行人工巡检和巡视，判断和监视设备运行状态；四是现有的综采监控系统只是利用虚拟现实技术进行显示设备运行状态，利用集中控制中心的操作台进行远程干预和控制，并不利用专业的虚拟现实技术去反向控制设备。
技术实现思路
本专利技术要解决的具体技术问题是如何实现一种虚拟现实矿井综采工作面的远程巡检干预方法。本专利技术所采取的技术措施方案如下。一种虚拟现实矿井综采工作面的远程巡检干预方法，包括综采工作面装备实时传回的数据和物探数据构建的虚拟软件系统和综采VR追踪与交互中心，其特征在于：根据综采工作面装备实时传回的数据系统及物探数据构建系统，实时传输的综采工作面装备数据和物探数据，构建虚拟软件实时数据驱动虚拟综采工作面，并呈现在多种虚拟现实硬件与软件构建的综采VR追踪与交互中心，利用多种虚拟现实人机交互手段与虚拟人机交互界面进行虚拟操作，虚拟现实硬件与软件对操作人员位置、姿态和动作进行捕捉并将虚拟操作转化为现实指令，并接入集中控制中心进行真实设备的操作，指引相对应操作的设备完成调整工作，进而完成远程人工干预和人工巡检任务，实现对真实的综采工作面实时运行工况进行非常真实的呈现，进而进行监控和巡检；所述综采VR追踪与交互中心是设置在现有综采集中控制中心的一个虚拟现实实验室，设置有仿真投影环幕，集成有光学追踪装置与惯性导航，体感交互设备，交互追踪系统多种虚拟现实人机交互硬件装置协同进行真实的漫游综采工作面，并对虚拟软件中的虚拟监测界面呈现在仿真投影环幕中的虚拟按钮和遥控器进行操作，虚拟操作指令映射成为实际操作指令，并实时传递进入综采工作面集中控制系统，指引相对应操作的设备完成调整工作，进而完成远程人工干预，对真实的综采工作面实时运行工况进行非常真实的呈现，进而进行监控；所述仿真投影环幕是包含环幕系统和环幕投影，是一种视听高度沉浸的虚拟仿真显示环境，其将虚拟软件中的虚拟监测画面在此环境中显示，环幕投影系统采用多台投影组成的环形投影屏幕，环形幕半径通常有100弧度，由于其屏幕半径宽大，操作人员的视觉完全被包围，再配合环绕立本文档来自技高网...

【技术保护点】
1.一种虚拟现实矿井综采工作面的远程巡检干预方法，包括综采工作面装备实时传回的数据和物探数据构建的虚拟软件系统和综采VR追踪与交互中心，其特征在于：根据综采工作面装备实时传回的数据系统及物探数据构建系统，实时传输的综采工作面装备数据和物探数据，构建虚拟软件实时数据驱动虚拟综采工作面，并呈现在多种虚拟现实硬件与软件构建的综采VR追踪与交互中心，利用多种虚拟现实人机交互手段与虚拟人机交互界面进行虚拟操作，虚拟现实硬件与软件对操作人员位置、姿态和动作进行捕捉并将虚拟操作转化为现实指令，并接入集中控制中心进行真实设备的操作，指引相对应操作的设备完成调整工作，进而完成远程人工干预和人工巡检任务，实现对真实的综采工作面实时运行工况进行非常真实的呈现，进而进行监控和巡检；所述综采VR追踪与交互中心是设置在现有综采集中控制中心的一个虚拟现实实验室，设置有仿真投影环幕，集成有光学追踪装置与惯性导航，体感交互设备，交互追踪系统多种虚拟现实人机交互硬件装置协同进行真实的漫游综采工作面，并对虚拟软件中的虚拟监测界面呈现在仿真投影环幕中的虚拟按钮和遥控器进行操作，虚拟操作指令映射成为实际操作指令，并实时传递进入综采工作面集中控制系统，指引相对应操作的设备完成调整工作，进而完成远程人工干预，对真实的综采工作面实时运行工况进行非常真实的呈现，进而进行监控；所述仿真投影环幕是包含环幕系统和环幕投影，是一种视听高度沉浸的虚拟仿真显示环境，其将虚拟软件中的虚拟监测画面在此环境中显示，环幕投影系统采用多台投影组成的环形投影屏幕，环形幕半径通常有100弧度，由于其屏幕半径宽大，操作人员的视觉完全被包围，再配合环绕立体声系统，使操作人员充分体验一种高度身临其境的三维立体视听感受，获得一个具有高度沉浸感的实时虚拟综采虚拟仿真可视环境，其沉浸感一般高于传统的平面大屏幕；所述光学追踪装置是采用两个或多个摄象机传感器分辨操作人员的三维信息，利用模式识别技术跟踪操作人员身体位置，在操作人员身体上贴上反光标签，通过镜头发射和接受指定波长的红外光，以获得Marker的三维运动轨迹，操作人员身体位置必须保证每个Marker有两个以上相机观察到；所述惯性导航是通过惯性导航装置实时获得操作人员的定位和姿态信息；所述操作人员的定位和姿态信息是由光学追踪装置与惯性导航进行数据融合的而获得的高精度信息，并实时传递到虚拟软件中，以使在仿真投影环幕中呈现出操作人员的精度较高位置和姿态信息；所述虚拟现实人机交互硬件设备是操作人员利用人机交互设备与虚拟场景进行交互的过程，包括可穿戴式设备、体感交互设备、数据手套、数据衣和交互追踪系统，对操作人员的身体、四肢、手掌和手指动作进行捕捉，并将捕捉的信息实时传递到虚拟软件中；所述虚拟软件是在Unity3d环境下由虚拟监测界面、虚拟现实人机交互硬件接口、虚拟人机交互界面和虚拟界面显示与拆分模块组成；所述虚拟监测界面是将综采工作面装备实时传回的数据及物探数据构建的实时数据驱动的虚拟综采工作面，并与实时运动对象保持同步；所述虚拟现实人机交互硬件接口是Unity3d软件具有的多种虚拟现实人机硬件接口，包括穿戴式设备连接接口、体感交互设备连接接口、数据手套连接接口、数据衣连接接口、交互追踪系统连接接口，具备将各人机交互硬件设备进行无缝集成的功能，是虚拟软件中的虚拟交互模块；所述虚拟人机交互界面是在Unity3d环境下利用UGUI模块中制作的虚拟操作界面，包括虚拟液压支架手动操作阀、虚拟电液控制器、虚拟支架遥控器、虚拟采煤机远程操作面板、虚拟液压支架远程操作面板和虚拟采煤机遥控器；所述虚拟界面显示与拆分模块是将虚拟监测界面与虚拟人机交互界面呈现在仿真投影环幕上，使操作人员可通过虚拟现实人机交互手段在仿真投影环模上与虚拟监测界面中的的虚拟按钮和遥控器进行交互，进而进行虚拟操作；通过分块显示技术，虚拟监测画面被分割成多场景画面，在仿真投影环幕分段显示，解决综采场景规模大、无法将其显示在一个虚拟画面中的问题，实现操作人员在虚拟场景的快速定位与切换；所述判定虚拟操作是否有效的方法是，首先判定进行综采拆分空间的判定，并实时响应出现相应设备的虚拟人机交互界面；然后实时获得操作人员的位置和方向姿态，进而通过获得的操作人员的身体、四肢、手掌和手指动作等信息，判别人身体姿态以及操作手与虚拟面板的交互；如果满足接触和响应条件则触发操作，找到相对应操作的设备，从而完成操作；每次点完后需要点击指令允许按钮，以免误触碰现象的出现；所述操作人员虚拟操作虚拟人机交互界面转化集中控制中心PLC控制命令的流程为，在unity3d中判定交互操作指令，与虚拟软件中预留的虚拟变量进行对应，然后通过C#语言编写的与SQLSERVER软件编写的接口，将虚拟变量传递到与设备相对应的表中，在通过ODBC接口传入组态王，...

【技术特征摘要】
1.一种虚拟现实矿井综采工作面的远程巡检干预方法，包括综采工作面装备实时传回的数据和物探数据构建的虚拟软件系统和综采VR追踪与交互中心，其特征在于：根据综采工作面装备实时传回的数据系统及物探数据构建系统，实时传输的综采工作面装备数据和物探数据，构建虚拟软件实时数据驱动虚拟综采工作面，并呈现在多种虚拟现实硬件与软件构建的综采VR追踪与交互中心，利用多种虚拟现实人机交互手段与虚拟人机交互界面进行虚拟操作，虚拟现实硬件与软件对操作人员位置、姿态和动作进行捕捉并将虚拟操作转化为现实指令，并接入集中控制中心进行真实设备的操作，指引相对应操作的设备完成调整工作，进而完成远程人工干预和人工巡检任务，实现对真实的综采工作面实时运行工况进行非常真实的呈现，进而进行监控和巡检；所述综采VR追踪与交互中心是设置在现有综采集中控制中心的一个虚拟现实实验室，设置有仿真投影环幕，集成有光学追踪装置与惯性导航，体感交互设备，交互追踪系统多种虚拟现实人机交互硬件装置协同进行真实的漫游综采工作面，并对虚拟软件中的虚拟监测界面呈现在仿真投影环幕中的虚拟按钮和遥控器进行操作，虚拟操作指令映射成为实际操作指令，并实时传递进入综采工作面集中控制系统，指引相对应操作的设备完成调整工作，进而完成远程人工干预，对真实的综采工作面实时运行工况进行非常真实的呈现，进而进行监控；所述仿真投影环幕是包含环幕系统和环幕投影，是一种视听高度沉浸的虚拟仿真显示环境，其将虚拟软件中的虚拟监测画面在此环境中显示，环幕投影系统采用多台投影组成的环形投影屏幕，环形幕半径通常有100弧度，由于其屏幕半径宽大，操作人员的视觉完全被包围，再配合环绕立体声系统，使操作人员充分体验一种高度身临其境的三维立体视听感受，获得一个具有高度沉浸感的实时虚拟综采虚拟仿真可视环境，其沉浸感一般高于传统的平面大屏幕；所述光学追踪装置是采用两个或多个摄象机传感器分辨操作人员的三维信息，利用模式识别技术跟踪操作人员身体位置，在操作人员身体上贴上反光标签，通过镜头发射和接受指定波长的红外光，以获得Marker的三维运动轨迹，操作人员身体位置必须保证每个Marker有两个以上相机观察到；所述惯性导航是通过惯性导航装置实时获得操作人员的定位和姿态信息；所述操作人员的定位和姿态信息是由光学追踪装置与惯性导航进行数据融合的而获得的高精度信息，并实时传递到虚拟软件中，以使在仿真投影环幕中呈现出操作人员的精度较高位置和姿态信息；所述虚拟现实人机交互硬...

【专利技术属性】
技术研发人员：谢嘉成，王学文，史恒波，葛星，杨兆建，李娟莉，刘阳，代旭东，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：山西,14