监视移动体的周边的监视系统及其控制方法和存储介质技术方案

本发明专利技术提供监视移动体的周边的监视系统及其控制方法和存储介质。监视系统用于对地面上移动的挖掘机的周边进行监视并向操作者报告挖掘机的周边的跌倒风险，其包括：风险判断单元，其被配置为基于挖掘机上所搭载的用于对到地面物体的距离进行测量的第一传感器所测量的距离信息、以及用于对挖掘机的倾斜进行测量的第二传感器所测量的倾斜信息，来判断在挖掘机移动至周边的情况下的跌倒风险，其中，地面物体包括挖掘机的周边的地面；以及显示视频生成单元，其被配置为生成并输出用于表示风险判断单元所判断出的跌倒风险的图像。判断单元所判断出的跌倒风险的图像。判断单元所判断出的跌倒风险的图像。

【技术实现步骤摘要】
监视移动体的周边的监视系统及其控制方法和存储介质


[0001]本专利技术涉及用于对移动体的周边进行监视的监视系统、监视系统的控制方法和记录介质。

技术介绍

[0002]已知有如下的系统，该系统通过使用安装在车辆中的照相机或距离传感器来确定车辆的周边的障碍物或地形的变化，并且将这些变化报告给车辆驾驶员。日本特开2014
‑
225803公开了如下技术，该技术在从作业机械配备的立体照相机获得的距离图像中通过使用作业机械所位于的面作为基准来提取作业机械周边的地面物体，并且显示被叠加在拍摄图像上的地面物体的状况。日本特开平11
‑
222882公开了如下技术，该技术通过使用可以行进的施工机械上所搭载的多镜头照相机来监视诸如位于施工机械周边的悬崖等的地形有突变的危险区域，并且进行控制使得施工机械不接近危险区域。
[0003]然而，在日本特开2014
‑
225803中公开的技术中，使用施工机械所位于的面作为基准来提取地面物体。因此，当施工机械所位于的面不水平时，难以准确地提取作业机械周边的地面物体并将所提取的地面物体传送给操作者。在日本特开平11
‑
222882中公开的技术中，尽管可以将距离信息校正为基准坐标并获取将重力方向用作基准的地形信息，但是考虑到施工机械自身的倾斜，不能判断在施工机械进入地形有变化的区域的情况下的跌倒或跌落的风险。

技术实现思路

[0004]本公开提供了即使在斜坡上也能够高精度地判断移动体的跌倒风险的监视系统。r/>[0005]根据本专利技术的一个方面，一种监视系统，用于对地面上移动的移动体的周边进行监视，并向操作者报告所述移动体的周边的跌倒风险。所述监视系统包括：风险判断单元，其被配置为基于所述移动体上所搭载的用于对到地面物体的距离进行测量的第一传感器所测量的距离信息、以及用于对所述移动体的倾斜进行测量的第二传感器所测量的倾斜信息，来判断在所述移动体移动至周边的情况下的跌倒风险，其中，所述地面物体包括所述移动体的周边的地面；以及图像生成单元，其被配置为生成并输出用于表示所述风险判断单元所判断出的跌倒风险的图像。
[0006]根据以下参考附图对示例性实施例的描述，本专利技术的其他特征将变得明显。
附图说明
[0007]图1是示出移动体和照相机之间的位置关系的图。
[0008]图2是示出图像处理系统的配置的图。
[0009]图3是示出判断跌倒风险的处理的流程图。
[0010]图4A和图4B是示出计算地形的凹凸信息的处理的图。
[0011]图5A和图5B是示出根据臂的位置信息判断跌倒风险的阈值的变化的图。
[0012]图6是示出用于表示跌倒风险的图像的示例的图。
[0013]图7是示出用于表示行进方向上的跌倒风险的图像的示例的图。
具体实施方式
[0014](第一实施例)
[0015]图1是示出移动体和照相机之间的位置关系的图。移动体是车辆或机器人，诸如在地面上移动的客车或公共汽车、或者作业机械等。作业机械例如是诸如用于进行施工作业的施工机械等的用于进行作业的机械。在本实施例中，将描述挖掘机1作为示例，该挖掘机1是能够作为移动体行进的作业机械。挖掘机1包括转动单元1a和臂1b。挖掘机1的操作者可以通过沿任意方向转动转动单元1a然后操作臂1b来挖掘挖掘机1的周边的地面等。挖掘机1的操作者1可以搭乘在挖掘机1上，或者可以在不搭乘在挖掘机1上的情况下进行远程操作。
[0016]在挖掘机1上搭载有用于获取用于对移动体的周边进行监视的监视系统中所使用的距离信息的距离传感器。距离传感器是用于测量到地面物体的距离的装置，该地面物体包括挖掘机1的周边的地面、诸如建筑物等的构造物、障碍物或自然物体。在本实施例中，将描述在挖掘机1中安装四个照相机(照相机11至14)作为距离传感器的示例。照相机11安装在挖掘机1的前侧(图1的纸面的上侧)，以挖掘机1的前侧作为摄像范围。照相机12安装在挖掘机1的右侧，以挖掘机1的右侧作为摄像范围。照相机13安装在挖掘机1的后侧，以挖掘机1的后侧作为摄像范围。照相机14安装在挖掘机1的左侧，以挖掘机1的左侧作为摄像范围。在本实施例中，将描述在挖掘机1上搭载四个照相机的示例，但是照相机的数量不限于四个。一个或多于一个照相机可以安装在移动体上。
[0017]照相机11至14中的各个照相机包括用于拍摄光学图像的图像传感器和在图像传感器的光接收面上形成光学图像的摄像光学系统。包括在照相机11至14中的各个照相机中的摄像光学系统包括例如鱼眼镜头或广角镜头，其中，利用鱼眼镜头或广角镜头可以广泛地对挖掘机的周边进行摄像。照相机11至14安装在挖掘机1上，使得挖掘机1的周边的地面包括在照相机11至14的摄像范围中。因此，当挖掘机1在水平面上时，照相机11至14安装在挖掘机1上，使得照相机11至14的摄像光学系统的光轴朝向下而不是在水平方向上。
[0018]接下来，将参照图2来描述根据本实施例的用于对移动体的周边进行监视的监视系统的配置。图2是示出监视系统的配置的图。监视系统基于从作为距离传感器的照相机11获取的作为距离信息的图像、以及移动体的倾斜信息，监视在移动体从当前地点移动至周边的情况下的跌倒/跌落风险。可以在挖掘机1上搭载监视系统200，或者可以在挖掘机1的操作者所操作的诸如PC或平板终端等的信息处理装置上搭载监视系统200。监视系统200可以在云上实现，并且可以仅将结果的图像报告给挖掘机1的操作者。监视系统200包括多个照相机11至14、综合处理单元240、倾斜传感器280、臂位置信息获取单元290、显示单元250、行进控制单元260和外部通信单元270。
[0019]照相机11至14分别包括摄像单元221至224和照相机处理单元231至234。首先，将描述摄像单元221至224。由于摄像单元221至224具有相同的配置，因此这里将仅描述摄像单元221。摄像单元221包括镜头221a和图像传感器221b。镜头221a包括在照相机11的摄像光学系统中，并且在图像传感器221b的光接收面上形成光学图像。镜头221a例如是一个或多于一个光学透镜。
[0020]图像传感器221b包括光电转换部(光接收元件)并输出根据光学图像的信号(模拟信号)。图像传感器221b例如是CMOS图像传感器或CCD图像传感器。图像传感器221b可以根据所谓的摄像面相位差来测距。图像传感器221b针对一个像素包括多个光接收元件，并且对至少一对光学图像进行光电转换，以生成具有不同视点的至少一对图像信号。在实施例中，将描述摄像面上的各个像素包括一对光接收元件的示例，但是可以一部分像素是包括一对光接收元件的像素，或者一个像素中所包括的光接收元件的数量可以例如是两个或多于两个。在图像传感器221b中，一对光接收元件生成与穿过摄像光学系统的不同光瞳区域的光束相对应的一对图像信号。例如，在图像传感器221b的光接收面上，针对各个像素排列RGB滤色器。RGB滤色器的阵本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种监视系统，用于对地面上移动的移动体的周边进行监视，并向操作者报告所述移动体的周边的跌倒风险，所述监视系统包括：风险判断单元，其被配置为基于所述移动体上所搭载的用于对到地面物体的距离进行测量的第一传感器所测量的距离信息、以及用于对所述移动体的倾斜进行测量的第二传感器所测量的倾斜信息，来判断在所述移动体移动至周边的情况下的跌倒风险，其中，所述地面物体包括所述移动体的周边的地面；以及图像生成单元，其被配置为生成并输出用于表示所述风险判断单元所判断出的跌倒风险的图像。2.根据权利要求1所述的监视系统，其中，所述风险判断单元通过根据所述距离信息计算以所述移动体的接地面为基准的地面的相对倾斜角度，并基于所述倾斜信息对所述倾斜角度进行校正，来计算水平面基准的地形的梯度信息，并且通过将所述梯度信息与阈值进行比较来判断跌倒风险。3.根据权利要求1所述的监视系统，其中，所述风险判断单元基于所述距离信息和所述倾斜信息以及与所述移动体的操作状况相对应的所述移动体的重心，来判断跌倒风险。4.根据权利要求1至3中任一项所述的监视系统，其中，所述图像生成单元生成用于表示所述风险判断单元所判断出的跌倒风险的信息被叠加在将所述距离信息图像化的图像上的图像。5.根据权利要求1至3中任一项所述的监视系统，其中，所述第一传感器是所述移动体上所搭载的摄像装置，并且被配置为对所述移动体的周边进行摄像，其中，所述图像生成单元生成用于表示所述风险判断单元所判断出的跌倒风险的信息被叠加在所述摄像装置所拍摄的图像或通过转换该图像的视点而获得的虚拟视点图像上的图像。6.根据权利要求5所述的监视系统，其中，所述虚拟视点图像是具有所述移动体和所述移动体的周边的鸟瞰视野的鸟瞰图像。7.根据权利要求5所述的监视系统，其中，所述摄像装...

【专利技术属性】
技术研发人员：森真起子，冈伸洋，铃木隆太，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：