施工机械用周边监控装置制造方法及图纸

本发明专利技术提供一种施工机械用周边监控装置。本发明专利技术的实施例所涉及的挖土机(60)具备作为施工机械用周边监控装置的图像生成装置(100)，其根据安装于上部回转体(63)的距离图像传感器(6)所拍摄的输入距离图像生成输出距离图像。图像生成装置(100)将输入距离图像所在的输入距离图像平面上的坐标与输出距离图像所在的输出距离图像平面上的坐标建立对应。

【技术实现步骤摘要】
【国外来华专利技术】施工机械用周边监控装置
本专利技术涉及一种利用距离图像传感器所获取的二维排列的距离信息生成输出图像的施工机械用周边监控装置。
技术介绍
以往已知有如下周围监控装置，其使用安装于挖土机的上部回转体的激光雷达，获取在挖土机周围存在的物体相对于挖土机的距离及方向的同时，对周围进行监控(例如参考专利文献1)。该周围监控装置，当物体相对于挖土机的距离及方向在规定时间内未发生变化时，判定该物体为静止障碍物，当距离及方向发生变化时，判定该物体为移动障碍物。在此基础上，周围监控装置生成从上空观察挖土机及其周围的插图图像，在与障碍物的实际存在位置对应的插图图像上的位置显示表示该障碍物的插图。并且，周围监控装置将静止障碍物和移动障碍物以不同方式的插图进行显示。如此一来，周围监控装置能够将挖土机周围的障碍物的状况通俗易懂地传达给驾驶员。以往技术文献专利文献专利文献1：日本特开2008-163719号公报专利技术的概要专利技术要解决的技术课题然而，专利文献1中所记载的激光雷达用于对物体照射1条激光，并由其反射光检测物体的距离及方向。因此，专利文献1中所记载的激光雷达只是检测物体表面极其有限的部分与本身之间的距离，其检测结果只是用于粗略决定表示物体的插图的位置。因此，专利文献1中所记载的周围监控装置所提示的输出图像不足以将挖土机周围的障碍物的状况通俗易懂地传达给驾驶员。鉴于上述问题点，本专利技术的目的在于提供一种能够将周围物体的状况通俗易懂地传达给操作人员的施工机械用周边监控装置。用于解决技术课题的手段为了实现上述目的，本专利技术的实施例所涉及的施工机械用周边监控装置，其根据安装于施工机械上的距离图像传感器所拍摄的输入距离图像生成输出距离图像，其中，施工机械用周边监控装置将所述输入距离图像所在的输入距离图像平面上的坐标与所述输出距离图像所在的输出距离图像平面上的坐标建立对应。专利技术效果通过上述机构，本专利技术可以提供一种能够将周围物体的状况通俗易懂地传达给操作人员的施工机械用周边监控装置。附图说明图1是概略地表示本专利技术的实施例所涉及的图像生成装置的结构例的框图。图2是表示搭载有图像生成装置的挖土机的结构例的图。图3是表示投影有输入图像的空间模型的一例的图。图4是表示空间模型与处理对象图像平面之间的关系的一例的图。图5是用于说明将输入图像平面上的坐标与空间模型上的坐标之间建立对应的图。图6是用于说明基于坐标对应建立机构的坐标间的对应建立的图。图7是用于说明平行线组的作用的图。图8是用于说明辅助线组的作用的图。图9是表示处理对象图像生成处理及输出图像生成处理的流程的流程图。图10是输出图像的显示例(其1)。图11是搭载有图像生成装置的挖土机的顶视图(其1)。图12是表示搭载于挖土机的3台摄像机各自的输入图像和利用这些输入图像而生成的输出图像的图。图13是用于说明防止2个摄像机各自的拍摄范围的重叠区域中的物体消失的图像消失防止处理的图。图14是表示图12所示的输出图像与通过对图12的输出图像适用图像消失防止处理而得到的输出图像的差异的对比图。图15是表示搭载于挖土机的3台距离图像传感器各自的输入距离图像和利用这些输入距离图像而生成的输出距离图像的图。图16是表示图15所示的输出距离图像与通过对图15的输出距离图像适用距离图像消失防止处理而得到的输出距离图像的差异的对比图。图17是表示在输出图像上合成输出距离图像而得到的合成后输出图像的一例的图。图18是表示在输出图像上合成输出距离图像而得到的合成后输出图像的另一例的图。图19是搭载有图像生成装置的挖土机的顶视图(其2)。具体实施方式以下，参考附图对用于实施本专利技术的最佳方式进行说明。图1是概略地表示本专利技术的实施例所涉及的图像生成装置100的结构例的框图。图像生成装置100为对施工机械的周边进行监控的施工机械用周边监控装置的一例，由控制部1、摄像机2、输入部3、存储部4、显示部5及距离图像传感器6构成。具体而言，图像生成装置100根据由搭载于施工机械的摄像机2所拍摄的输入图像和由距离图像传感器6所拍摄的后述的输入距离图像生成输出图像并将该输出图像提示给操作人员。图2是表示搭载有图像生成装置100的作为施工机械的挖土机60的结构例的图，挖土机60在履带式的下部行走体61之上经由回转机构62绕回转轴PV回转自如地搭载有上部回转体63。并且，上部回转体63在其前方左侧部具备操纵室(驾驶室)64，在其前方中央部具备挖掘装置E，在其右侧面及后面具备摄像机2(右侧方摄像机2R、后方摄像机2B)及距离图像传感器6(右侧方距离图像传感器6R、后方距离图像传感器6B)。另外，在操纵室64内的操作人员容易辨识的位置上设有显示部5。接着，对图像生成装置100的各构成要件进行说明。控制部1为具备CPU(CentralProcessingUnit)、RAM(RandomAccessMemory)、ROM(ReadOnlyMemory)、NVRAM(Non-VolatileRandomAccessMemory)等的计算机。在本实施例中，控制部1将分别与例如后述的坐标对应建立机构10、图像生成机构11及距离图像合成机构12对应的程序存储在ROM和NVRAM中，利用RAM作为临时存储区域，同时使CPU执行与各机构对应的处理。摄像机2为用于获取映出挖土机60周围的输入图像的装置。在本实施例中，摄像机2为例如为了能够拍摄到成为在操纵室64中的操作人员的死角的区域而安装于上部回转体63的右侧面及后面的右侧方摄像机2R及后方摄像机2B(参考图2)。并且，摄像机2具备CCD(ChargeCoupledDevice)和CMOS(ComplementaryMetalOxideSemiconductor)等摄像元件。另外，摄像机2可以安装于上部回转体63的右侧面及后面以外的位置(例如前面及左侧面)，也可以安装广角透镜或鱼眼透镜，以便能够拍摄宽广范围。并且，摄像机2根据来自控制部1的控制信号获取输入图像，并对控制部1输出所获取的输入图像。另外，当使用鱼眼透镜或广角透镜获取输入图像时，摄像机2对控制部1输出对因使用这些透镜而产生的外观上的畸变和歪斜进行修正的修正完的输入图像。并且，摄像机2也可以对控制部1直接输出未对该外观上的畸变和歪斜进行修正的输入图像。此时，控制部1对该外观上的畸变和歪斜进行修正。输入部3为用于能够由操作人员对图像生成装置100输入各种信息的装置，例如为触控面板、按钮开关、指针设备、键盘等。存储部4为用于存储各种信息的装置，例如为硬盘、光盘或半导体存储器等。显示部5为用于显示图像信息的装置，例如为在挖土机60的操纵室64(参考图2)内设置的液晶显示器或投影仪等，对控制部1所输出的各种图像进行显示。距离图像传感器6为用于获取在挖土机60周围存在的物体的距离信息的二维排列的装置。在本实施例中，距离图像传感器6例如为了能够拍摄到成为在操纵室64内的操作人员的死角的区域而安装于上部回转体63的右侧面及后面(参考图2)。另外，距离图像传感器6也可以安装于上部回转体63的前面、左侧面、右侧面及后面中的任意1个部位，还可以安装于所有的面上。摄像机2对每一像素获取亮度、色调值、彩度值等，相对于此，距离图像传感器6为对每一像素获取距离信息的传感本文档来自技高网...

【技术保护点】
一种施工机械用周边监控装置，根据安装于施工机械上的距离图像传感器所拍摄的输入距离图像生成输出距离图像，其中，所述施工机械用周边监控装置将所述输入距离图像所在的输入距离图像平面上的坐标与所述输出距离图像所在的输出距离图像平面上的坐标建立对应。

【技术特征摘要】
【国外来华专利技术】2012.03.29 JP 2012-0783401.一种施工机械用周边监控装置，将安装于施工机械上的多个距离图像传感器各自所拍摄的输入距离图像所在的输入距离图像平面上的坐标与输出距离图像平面上的坐标建立对应而生成输出距离图像，并且将安装于所述施工机械上的多个摄像机各自所拍摄的输入图像所在的输入图像平面上的坐标与输出图像平面上的坐标建立对应而生成输出图像，并且在显示装置上显示将所述输出距离图像和所述输出图像合成而得到的显示图像，在该施工机械用周边监控装置中，选择与所述多个距离图像传感器中的2个距离图像传感器各自的拍摄范围重叠的区域对应的所述2个距离图像传感器各自的输入距离图像的区域中的、相互对应的像素的表示距离的像素的值中较小的值，并将其与所述输出距离图像中的对应的像素建立关联，将包含与该较小的值建立关联的像素的所述输出距离图像和所述输出图像合成，由此生成合成后输出图像，在所述输出距离图像上的所述重叠的区域中，将与1个立体物相关的2个距离图像显示在所述输出距离图像上。2.根据权利要求1所述的施工机械用周边监控装置，其中，所述输出距离图像为实施了视点变换处理的距离图像。3.一种施工机械用周边监控装置，将安装于施工机械上的距离图像传感器所拍摄的输入距离图像所在的输入距离图像平面上的坐标与输出距离图像平面上的坐标建立对应而生成输出距离图像，并且将安装于所述施工机械上的摄像机...

【专利技术属性】
技术研发人员：泉川岳哉，清田芳永，相泽晋，
申请(专利权)人：住友建机株式会社，住友重机械工业株式会社，
类型：发明
国别省市：日本;JP