施工机械用周边监视系统技术方案

周边监视系统(100)具备：人物检测部(34)，检测挖土机周边存在的人；及控制部(35)，控制搭载于挖土机的输出装置(50)。控制部(35)将包含使用安装于挖土机的摄像装置(40)的摄像图像而生成的图像部分及挖土机图标的输出图像显示于显示器，且在挖土机图标的周边的图像部分中，强调与人物检测部(34)检测到的人的存在方向对应的一侧的图像部分。

Peripheral monitoring system for construction machinery

The peripheral monitoring system (100) is equipped with a character detection unit (34), a person to detect the existence of a excavator, and a control unit (35), and control the output device (50) carried on the excavator. The control unit (35) will include an image portion and an output image of the excavator icon generated using the image image of the image pickup device (40) installed in the excavator, and in the image portion around the excavator icon, the image portion of the one side corresponding to the person's existence direction detected by the person detection unit (34) is emphasized.

【技术实现步骤摘要】
【国外来华专利技术】施工机械用周边监视系统
本专利技术涉及一种监视施工机械周边的施工机械用周边监视系统。
技术介绍
已知有具备检测挖土机周边存在的物体(人)的传感器的挖土机(参考专利文献1)。该挖土机在挖土机的右侧检测到物体(人)时从设置于驾驶室内的右壁的扬声器输出警报，且将拍摄挖土机的右侧的摄像机的实时取景图像显示于显示器。并且，在挖土机的左侧检测到物体(人)时从设置于驾驶室内的左壁的扬声器输出警报，且将拍摄挖土机的左侧的摄像机的实时取景图像显示于显示器。以往技术文献专利文献专利文献1：日本特开2014-183500号公报
技术实现思路
专利技术要解决的技术课题然而，上述挖土机没有将传感器检测到的物体(人)与显示于显示器的图像内的物体(人)建立对应关联。因此，存在观察显示器的操作人员无法辨识传感器检测到的物体(人)是图像内的哪一物体(人)的可能性。鉴于上述情况，希望提供一种能够使操作人员轻松地辨识通过施工机械检测到的人在显示图像内的哪一区域存在的施工机械用周边监视系统。用于解决技术课题的手段本专利技术的实施例所涉及的施工机械用周边监视系统具备：人物检测部，检测所述施工机械周边存在的人；及控制部，控制搭载于所述施工机械的输出装置，所述控制部将包含使用安装于所述施工机械的摄像装置的摄像图像而生成的图像部分及所述施工机械的图标的输出图像显示于显示装置，且在所述图标周边的图像部分中，强调与所述人物检测部检测到的人的存在方向对应的一侧的图像部分。专利技术效果根据上述机构，提供一种能够使操作人员轻松地辨识通过施工机械检测到的人在显示图像内的哪一区域存在的施工机械用周边监视系统。附图说明图1是搭载有本专利技术的实施例所涉及的周边监视系统的挖土机的侧视图。图2是表示周边监视系统的结构例的功能框图。图3是后方摄像机的摄像图像的例子。图4是表示从摄像图像截取对象图像时所使用的几何关系的一例的示意图。图5是从上面观察挖土机后方的实空间的图。图6A是后方摄像机的摄像图像的一例。图6B是截取了摄像图像中的对象图像的区域的图。图6C是对对象图像进行标准化的标准化图像。图7A1是摄像图像中的对象图像区域的一例。图7A2是对象图像的标准化图像的一例。图7B1是摄像图像中的对象图像区域的另一例。图7B2是对象图像的标准化图像的另一例。图7C1是摄像图像中的对象图像区域的又一例。图7C2是对象图像的标准化图像的又一例。图8是表示对象图像区域与识别处理不适合区域之间的关系的图。图9是表示标准化图像的例子的图。图10是表示从摄像图像截取对象图像时所使用的几何关系的另一例的示意图。图11是表示摄像图像中的特征图像的一例的图。图12是表示图像提取处理的一例的流程的流程图。图13是表示识别部的结构例的功能框图。图14A是通过提取部提取的作为对象图像的标准化图像的一例。图14B是表示对图14A的对象图像设定的7个区域的图。图14C是表示图14B的一区域中的各像素的亮度的直方图的图。图15A是表示识别部的人物识别能力的概念图的一例。图15B是表示识别部的人物识别能力的概念图的另一例。图15C是表示识别部的人物识别能力的概念图的又一例。图16A是表示标准化图像分割为HOG块的状态的图。图16B是表示标准化图像的中央的HOG块分割为4个区块的状态的图。图16C是表示4个区块的另一结构例的图。图17是表示识别处理的流程的流程图。图18是表示识别处理的流程的流程图。图19是表示周边监视处理的一例的流程的流程图。图20是表示限制解除处理的一例的流程的流程图。图21A是输出图像的例子。图21B是输出图像的例子。图21C是输出图像的例子。图22是表示检测状态与框及区域的显示颜色之间的对应关系的对应表。图23是作为输出图像的视点变换图像的例子。图24是包含视点变换图像的输出图像的例子。图25A是包含视点变换图像的输出图像的例子。图25B是包含视点变换图像的输出图像的例子。图25C是包含视点变换图像的输出图像的例子。图25D是包含视点变换图像的输出图像的例子。图25E是包含视点变换图像的输出图像的例子。图26A是包含视点变换图像的输出图像的例子。图26B是包含视点变换图像的输出图像的例子。具体实施方式图1是搭载有本专利技术的实施例所涉及的周边监视系统100的作为施工机械的挖土机的侧视图。在挖土机的下部行走体1中经由回转机构2以旋转自如的方式搭载有上部回转体3。在上部回转体3中安装有动臂4。在动臂4的前端安装有斗杆5，在斗杆5的前端安装有铲斗6。动臂4、斗杆5及铲斗6构成挖掘附件，且分别由动臂缸7、斗杆缸8及铲斗缸9液压驱动。并且，在上部回转体3中设置有驾驶室10，且搭载有引擎等动力源。并且，在上部回转体3的上部安装有摄像装置40。具体而言，在上部回转体3的后端上部、左端上部及右端上部安装有后方摄像机40B、左侧方摄像机40L及右侧方摄像机40R。并且，在驾驶室10内设置有控制器30及输出装置50。图2是表示周边监视系统100的结构例的功能框图。周边监视系统100主要包含控制器30、摄像装置40及输出装置50。控制器30为进行挖土机的驱动控制的控制装置。在本实施例中，控制器30由包含CPU及内部存储器的运算处理装置构成，使CPU执行存储于内部存储器中的驱动控制用程序而实现各种功能。并且，控制器30根据各种装置的输出判定在挖土机的周边是否存在人，并根据该判定结果控制各种装置。具体而言，控制器30接收摄像装置40及输入装置41的输出，并执行分别与提取部31、识别部32、跟踪部33及控制部35对应的软件程序。而且，根据该执行结果向机械控制装置51输出控制命令而执行挖土机的驱动控制，或者，从输出装置50输出各种信息。另外，控制器30可以是图像处理专用的控制装置。摄像装置40为拍摄挖土机周围的图像的装置，将所拍摄的图像输出至控制器30。在本实施例中，摄像装置40为采用CCD等成像元件的广角摄像机，且在上部回转体3的上部安装成光轴朝向斜下方。输入装置41为接收操作人员的输入的装置。在本实施例中，输入装置41包含操作装置(操作杆、操作踏板等)、门锁杆、设置于操作装置的前端的按钮、附属于车载显示器的按钮及触控面板等。输出装置50为输出各种信息的装置，例如包含显示各种图像信息的车载显示器、语音输出各种语音信息的车载扬声器、警报蜂鸣器及警报灯等。在本实施例中，输出装置50根据来自控制器30的控制命令输出各种信息。机械控制装置51为控制挖土机的动作的装置，例如包含液压系统中的控制工作油的流动的控制阀、门锁阀及引擎控制装置等。提取部31为从摄像装置40所拍摄的摄像图像提取识别处理对象图像的功能要件。具体而言，提取部31通过提取基于局部性亮度梯度或边缘的简单特征、基于霍夫变换等的几何特征及与根据亮度分割的区域的面积或纵横尺寸比相关的特征等的运算量较少的图像处理(以下，设为“前段图像辨识处理”。)而提取识别处理对象图像。识别处理对象图像(以下，设为“对象图像”。)是成为后续的图像处理对象的图像部分(摄像图像的一部分)，包含人物候选图像。人物候选图像为被视为人物图像的可能性高的图像部分(摄像图像的一部分)。识别部32为识别提取部31所提取的对象图像中所包含的人物候选图像是否为人物图像的功能要件。具体而言，识别部32通过使用了以HO本文档来自技高网...

【技术保护点】
一种施工机械用周边监视系统，其具备：人物检测部，检测施工机械周边存在的人；及控制部，控制搭载于所述施工机械的输出装置，所述控制部将包含使用安装于所述施工机械的摄像装置的摄像图像而生成的图像部分及所述施工机械的图标的输出图像显示于显示装置，且强调所述图标周边的图像部分中的与所述人物检测部检测到的人的存在方向对应的一侧的图像部分。

【技术特征摘要】
【国外来华专利技术】2015.11.30 JP 2015-233976;2015.11.30 JP 2015-233971.一种施工机械用周边监视系统，其具备：人物检测部，检测施工机械周边存在的人；及控制部，控制搭载于所述施工机械的输出装置，所述控制部将包含使用安装于所述施工机械的摄像装置的摄像图像而生成的图像部分及所述施工机械的图标的输出图像显示于显示装置，且强调所述图标周边的图像部分中的与所述人物检测部检测到的人的存在方向对应的一侧的图像部分。2.根据权利要求1所述的施工机械用周边监视系统，其中，所述控制部，在所述人物检测部检测到所述施工机械周边存在的人时输出警报，且能够区别地显示与所述人物检测部检测到的人对应的所述输出图像上的图像部分。3.根据权利要求2所述的施工机械用周边监视系统，其中，所述人物检测部判别并辨识至少2个阶段的人物检测状态及人物不检测状态，所述至少2个阶段的人物检测状态包含满足与自所述施工机械的距离相关的条件及与人物检测结果的可靠性相关的条件中的至少一个条件的第1人物检测状态和满足两个条件的第2人物检测状态，所述控制部能够区别地显示与导致所述第1人物检测状态的人物对应的所述输出图像上的图像部分和与导致所述第2人物检测状态的人物对应的所述输出图像上的图像部分。4.根据权利要求3所述的施工机械用周边监视系统，其中，所述控制部使通过所述人物检测部辨识出所述第1人物检测状态时输出的警报的内容与通过所述人物检测部辨识出所述第2人物检测状态时输出的警报的内容不同。5.根据权利要求3或4所述的施工机械用周边监视系统，其中，所述输出图像包含表示所述施工机械周边的多个区域各自的人物检测状态/人物不检测状态的部分，所述控制部以用不同的颜色能够区别的方式显示所述第1人物检测状态的区域、所述第2人物检测状态的区域及所述人物不检测状态的区域。6.根据权利要求2至5中任一项所述的施工机械用周边监视系统，其中，所述输出图像包含使用多个所述摄像装置的各摄像图像而合成的视点变换图像。7.根据权利要求1所述的施工机械用周边监视系统，其中，所述控制部将使用安装于所述施工机械的多个所述摄像装置各自的摄像图像而合成的周边监视图像显示于所述显示装置的画面上，且相对放大显示该周边监视图像的一部分。8.根据权利要求7所述的施工机械用周边监视系统，其中，所述控制部以纵深方向显示所述周边监视图像整体的同时相对放大显示所述周边监视图像的一部分。9.根据权利要求7或8所述的施工机械用周边监视系统，其中，当所述人物检测部检测到人时，所述控制部相对放大显示所述周边监视图像的一部分。10.根据权利要求7或8所述的施工机械用周边监视系统，其中，所述控制部将所述周边监视图像中的1个图像部分用作关注图像部分，且局部放大显示所述关注图像部分。11.根据权利要求10所述的施工机械用周边监视系统，其中，所述控制部在所述画面内旋转所述周边监视图像，以使所述关注图像部分位于所述画面的中央下部或中央上部。12.根据权利要求10或11所述的施工机械用周边监视系统，其中，所述关注图像部分为与所述人物检测部检测到的人中的离所述施工机械最近的人的位置对应的图像部分。13.根据权利要求12所述的施工机械用周边监视系统，其中，所述人物检测部检测自所述施工机械存在于规定距离内的人，局部放大显示的所述关注图像部分中所包含的、通过所述人物检测部检测到的人物的图像显示于所述显示装置的所述画面上的尺寸大于规定尺寸。14.根据权利要求10或11所述的施工机械用周边监视系统，其中，所述施工机械具备下部行走体及以旋转自如的方式搭载于所述下部行走体的上部回转体，所述关注图像部分为与所述下部行走体的行进方向上的空间对应的图像部分或者与所述上部回转体的后方的空间对应的图像部分。15.根据权利要求10至14中任一项所述的施工机械用周边监视系统，其中，所述控制部根据所述关注图像部分的显示位置的变化，在所述画面内旋转所述周边监视图...

【专利技术属性】
技术研发人员：清田芳永，大槻俊介，相泽晋，
申请(专利权)人：住友重机械工业株式会社，
类型：发明
国别省市：日本,JP