实时增强人对采矿工地上的采矿车的视野的方法和装置制造方法及图纸

实时增强人对采矿工地上的采矿车的视野的方法和装置。本发明专利技术涉及一种向采矿工地(50)上的人(25)实时可视化(14)采矿车(1,1a)的风险区以用于增强该人对采矿车(1,1a)的当前视野(3)的方法。该方法包括步骤：利用相机(21)拍摄(11)采矿工地(50)的画面流(2)，例如视频流，该相机的视场至少部分地与该人的视场对应；通过图像处理来识别(11)画面流中的至少一个采矿车(1,1a)；从画面流提取(12)采矿车(1,1a)的图像数据(5)；基于图像数据(5)和预设车辆风险区数据(8)，计算(13)适应人对采矿车(1,1a)的当前视野(3)的采矿车(1,1a)的至少一个风险区(6,6e,6f)；以及在人的显示器(25)上可视化(14)风险区(6,6e,6f)，使得该人对采矿车(1,1a)的当前视野(3)实时地与风险区(6,6e,6f)的可视化(7,7e,7f)叠加。

Real-time method and device for enhancing people's vision of mining vehicle on mining site

【技术实现步骤摘要】
实时增强人对采矿工地上的采矿车的视野的方法和装置
本专利技术涉及一种根据权利要求1的通过采矿车周围的风险区的可视化来实时增强人对矿场上的采矿车的感知的方法。本专利技术还涉及一种根据权利要求13的用于执行所述方法的增强现实显示装置。
技术介绍
诸如拖运卡车、挖掘机或斗轮挖掘机的重型机械对于采矿工地上的工人或其他个人或者其它机械或车辆而言是一个持续的风险因素。每年在采矿业中发生数千起事故，其中约四分之三涉及某种采矿设备，其中大部分是采矿车。防护服只能提供限定的保护，因为这种重型且常常非常巨大的机械所产生的力是巨大的。尽管针对更好的安全标准努力设计采矿车，但这些方法成本高并且特别有限，因为这些设备的基本功能总是会带来风险。另一方面，努力通过安全教程来相应地指导采矿工人以更好地识别和规避风险。然而，许多情况发生在现场，对人而言难以评定车辆所构成的风险，因为例如车辆的速度以及因此由车辆的移动导致的风险很难正确地评估。出于安全原因通过技术手段辅助工作人员在本领域中是已知的。例如，文献US2013/182066A1公开了一种用于勘察诸如液压挖掘机的工作机器的周围环境以为了安全而勘察的装置。其中，提出向工作车辆提供多个相机，监视机械后退时的危险区或者车辆操作者的其它盲区。然而，操作者仍然可能未注意到风险区中的人或者可能太晚感知到风险区中的人从而无法防止受伤或事故。
技术实现思路
因此需要一种方法和装置来帮助采矿现场的人实时评估或识别由其周围的采矿车导致的风险区，特别是为了避免人进入这样的风险区和/或适时警告他或采矿车的操作者。因此，本专利技术的目的在于提供一种向采矿工地的人实时呈现采矿车的风险区的方法。此外，目的在于提供一种增强现实显示装置系统。这些目的中的至少一个通过根据权利要求1的方法、根据权利要求13的增强现实显示装置和/或本专利技术的从属权利要求来实现。本专利技术涉及一种实时增强人对采矿工地上的至少一个采矿车的当前视野的方法。该方法包括以下步骤：-利用相机拍摄采矿工地的画面流，优选视频流，其中相机的视场至少部分地对应于人的视场(相机对采矿工地的视野至少与人的视野大致相同，例如实现为相机被安装到人的头盔或眼镜，由此优选相机的视场大于人的视场)，-通过图像处理识别画面流中的至少一个采矿车，-从画面流提取采矿车的图像数据，-基于图像数据和预设车辆风险区数据，计算适应于人对采矿车的当前视野的采矿车的至少一个风险区，以及-将风险区可视化在人的显示器上，使得人对采矿车的当前视野与风险区的可视化实时地叠加。根据本专利技术，使用采矿车的实际实时图像(或多或少与用户对采矿车的视野对应)和采矿车的风险区的预信息直接在用户的视场(与他对采矿车的视野匹配)中以采矿车的图形的某种形式建立和显示实时风险区。优选地，通过连续地执行该方法(或者特别是通过风险区的重新计算和重新可视化)，风险区的可视化动态地适应人的当前视野的改变和/或相对于人的采矿车位置的改变。然后，人作为增强现实总是具有风险区的实时和实际视觉视野。优选地，计算风险区的步骤包括生成至少一个地理围栏。地理围栏是本领域已知的，可例如用于在有人穿过地理围栏时触发事件。例如，地理围栏采取用于触发警报、消息等的虚拟围栏的形式，例如基于人与地理围栏的相对位置的定位在人的显示器上弹出信息。作为选择，地理围栏是移动地理围栏，即，随移动的采矿车或移动的采矿车结构而移动的地理围栏。作为另一优选选择，所有方法步骤由用户可穿戴装置执行。因此，在工地现场的人可独立于任何外部系统或装置，特别是独立于任何计算机网络利用根据本专利技术的方法，并且方法的执行可不受外部计算装置或通信线路的任何故障干扰。所述特征不排除从外部传感器接收数据，例如GPS信号或从采矿车本身传送来的数据，如下所述。优选地，在根据本专利技术的利用这种外部传感器数据的任何进一步开发的方法中，通过回退到不依赖于这种外部数据而执行的根据本专利技术的更基本的方法来自动地补偿数据传输的任何故障。优选地，在要求保护的方法的过程中，确定采矿车相对于人的位置和/或取向。然后另外基于如上所述确定的相对位置和/或取向来计算风险区。相对位置和/或取向例如从图像数据推导，例如基于画面流中的两个或更多个画面使用诸如特征提取和匹配的已知技术并且使用相机的已知性质推导其方向/角度信息和/或基于具有已知的真实几何性质(大小、长度、形状等)的对象用作参考尺度，由此确定图像中的对应性质。这种对象可以是例如采矿车本身，如果其真实尺寸和/或取向信息对执行该方法的计算单元是已知的话(例如，使用采矿车数据库)。替代地或另外地，基于距离测量来确定位置，例如使用执行该方法的增强现实显示装置中内置的已知激光测距仪和/或借助于该装置和/或采矿车的全球导航卫星系统(GNSS)。作为另一选择，基于如上所述确定的相对位置来确定人进入风险区，并且因此，自动地给予人和/或采矿车优选听觉或视觉警告，告知该人本身或者另一人或系统进入风险区。另外地或替代地，作为对进入的反应，自动给予采矿车命令(或者如果该人是另一采矿车的操作者本身，则给予他自己的采矿车命令)。这种自动触发的命令例如是停止其一个或所有风险区相关活动的命令(例如，通过停止采矿车的一个或所有系统)，或者改变速度或移动方向。根据该方法的实施方式，风险区的计算另外基于采矿车的实时参数。优选地，实时参数是运行状态(例如，活动等级)、采矿车和/或采矿车的致动器或结构的速度和/或移动方向(换言之，该参数涉及作为整体的采矿车或者其一个子元件)。作为另一选择，参数从图像数据和/或从监视采矿车的传感器推导，由此该传感器例如是内置于采矿车中(例如，其速度计)或内置于增强现实装置中以在远处无接触地测量车辆的传感器。作为另一选择，风险区可视化取决于采矿车类别、采矿车的外观(特别是其颜色)和/或采矿车或其可动结构的速度或移动方向。例如，根据个体车辆，根据采矿车的类别(例如，“挖掘机”或“拖运车辆”)生成和显示不同类型的风险区叠层。作为另一示例，从图像数据确定车辆的颜色并且相应地选择叠层的颜色。在另一优选的实施方式中，该方法包括预测组件，其中基于采矿车和/或人的特别是实时参数来计算和可视化未来风险区。因此，不显示或不仅显示实际风险区，而显示警告用户在不久的将来将发生的风险的风险区，从而允许考虑其来例如规划路点或未来行动。参数例如是采矿车的未来运行状态和/或移动参数，特别是采矿车和/或人的速度和/或方向。作为另一选择，计算并在显示器上可视化未来风险区的发生时间和/或(潜在)碰撞的发生时间，从而允许更好地规划或评定未来风险。如果存在不止一个(移动)车辆，则可选地计算并在显示器上可视化不同车辆的风险区的重叠时间。作为另一选择，识别至少一个采矿车包括识别采矿车的类别，并且预设车辆风险区数据是类别特定数据。替代地或另外地，识别至少一个采矿车包括识别个体采矿车，并且预设车辆风险区数据是个体采矿车所特定的数据。在优选实施方式中，计算风险区包括将风险区再分成不同风险等级的子区，特别是包括高风险子区和/或禁区，从而给予人采矿工地上他周围的风险的更好或更精细的视觉印象，和/或允许更好地评估可接受风险和在所有情况下避免的风险。优选地，风险区的可视化包括以不同的叠层(例如，不同类型的叠层)显示不同的子区，从而在视觉上例本文档来自技高网...

【技术保护点】
1.一种用于实时增强人对采矿工地(50)上的采矿车(1,1a)的当前视野(3)的方法，该方法包括以下步骤：‑利用相机(21)拍摄(10)采矿工地(50)的画面流(2)，特别是视频流，所述相机的视场(4c)至少部分地与该人的视场(3p)对应，‑通过图像处理来识别(11)所述画面流中的至少一个采矿车(1,1a)，‑从所述画面流提取(12)所述采矿车(1,1a)的图像数据(5)，‑基于所述图像数据(5)和预设车辆风险区数据(8)，计算(13)适应所述人对采矿车(1,1a)的当前视野(3)的所述采矿车(1,1a)的至少一个风险区(6,6e,6f)，以及‑将所述风险区(6,6e,6f)可视化(14)在人的显示器(25)上，使得所述人对所述采矿车(1,1a)的当前视野(3)实时地与所述风险区(6,6e,6f)的可视化(7,7e,7f)叠加。

【技术特征摘要】
2017.12.13 EP 17206958.51.一种用于实时增强人对采矿工地(50)上的采矿车(1,1a)的当前视野(3)的方法，该方法包括以下步骤：-利用相机(21)拍摄(10)采矿工地(50)的画面流(2)，特别是视频流，所述相机的视场(4c)至少部分地与该人的视场(3p)对应，-通过图像处理来识别(11)所述画面流中的至少一个采矿车(1,1a)，-从所述画面流提取(12)所述采矿车(1,1a)的图像数据(5)，-基于所述图像数据(5)和预设车辆风险区数据(8)，计算(13)适应所述人对采矿车(1,1a)的当前视野(3)的所述采矿车(1,1a)的至少一个风险区(6,6e,6f)，以及-将所述风险区(6,6e,6f)可视化(14)在人的显示器(25)上，使得所述人对所述采矿车(1,1a)的当前视野(3)实时地与所述风险区(6,6e,6f)的可视化(7,7e,7f)叠加。2.根据权利要求1所述的方法，特征在于，-计算(13)所述风险区(6,6e,6f)的步骤包括生成至少一个地理围栏(35)，特别是移动的地理围栏(35)，和/或-所有的方法步骤(10-14)由用户可穿戴装置执行。3.根据权利要求1或权利要求2所述的方法，特征在于，计算(13)所述风险区(6,6e,6f)的步骤另外基于所述采矿车(1,1a)的实时参数(9)，特别是其中，所述实时参数(9)-是所述采矿车(1,1a)和/或所述采矿车(1,1a)的致动器(33)或结构的运行状态、速度(9)或移动方向中的至少一个，且/或-是从所述图像数据(5)和/或从监视所述采矿车(1,1a)的传感器得到的。4.根据前述权利要求中的任一项所述的方法，特征在于，确定所述采矿车(1,1a)相对于所述人(52)的位置和/或取向，特别是根据所述图像数据(5)和/或利用全球导航卫星系统来进行该确定，并且-计算(13)所述风险区(6,6e,6f)的步骤另外基于所述相对位置和/或取向，且/或-基于所述相对位置确定所述人(52)进入所述风险区(6,6e,6f)的情况，并且因此，自动给予所述人和/或所述采矿车(1,1a)警告，特别是听觉或视觉警告，和/或自动给予所述采矿车(1,1a)命令，特别是停止其一个或所有与风险区(6,6e,6f)相关的活动的命令。5.根据前述权利要求中的任一项所述的方法，特征在于，所述风险区(6,6e,6f)的所述可视化(14)-通过对所述风险区(6,6e,6f)进行重新计算和重新可视化来动态地适应所述人的当前视野(3)的改变和/或相对于所述人(52)的所述采矿车(1,1a)的位置的改变，和/或-为交互式的，和/或-取决于采矿车类别、所述采矿车(1,1a)的外观，特别是其颜色、和所述采矿车(1,1a)或其一个可动结构(33)的速度(9)或移动方向中的至少一个。6.根据前述权利要求中的任一项所述的方法，特征在于，所述方法包括预测组件，该预测组件基于所述采矿车(1,1a)和/或所述人(52)的特别是实时的参数(9)计算和可视化未来风险区(6’)，特别是由此-所述参数(9)是所述采矿车(1,1a)的未来运行状态和/或移动参数，特别是所述采矿车(1,1a)和/或所述人(52)的速度(9)和/或方向，和/或-所述未来风险区(6’)的发生时间和/或不同车辆的风险区的重叠时间和/或碰撞的发生时间被计算并可视化在所述显示器(25)上。7.根据权利要求1至6中的任一项所述的方法，特征在于，识别(11)至少一个采矿车(1,1a)的步骤包括识别采矿车的类别，并且所述预设车辆风险区数据(8)是类别特定数据。8.根据权利要求1至6中的任一项所述的方法，特征在于，识别(11)至少一个采矿车(1,1a)的步骤包括识别个体采矿车，并且所述预设车辆风险区数据是所述个体采矿车(1,1a)所特定的数据(8)。9.根据前述权利要求中的任一项所述的方法，特征在于，计算(13)风险区(6,6e,6f)的步骤包括将所述风险区(6,6e,6f)再分成不同风险等级的子区(6a-6c)，特别是包括高风险的子区(6a)和/或禁区，并且可视化(14)风险区(6,6e,6f...

【专利技术属性】
技术研发人员：M·哈诺尔，U·马德，
申请(专利权)人：虚拟现实软件，
类型：发明
国别省市：挪威,NO