施工机械用人体检测系统技术方案

人体检测系统(100)使用以从斜上方拍摄人体的方式安装于挖土机的摄像装置(40)的摄像图像来检测存在于挖土机的周边的人体。人体检测系统(100)具有：抽取部(31)，抽取摄像图像的一部分作为识别处理对象图像；及识别部(32)，通过图像处理来识别抽取部(31)所抽取的识别处理对象图像中所包含的图像是否为人体图像。摄像图像中的识别处理对象图像区域(TRg)对应于实际空间中的规定尺寸的虚拟平面区域(TR)。虚拟平面区域(TR)在实际空间中朝向摄像装置(40)的方向且相对于水平面倾斜。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种检测存在于施工机械周围的人体的施工机械用人体检测系统。
技术介绍
已知有如下的人检测系统，其将三维空间中的水平面上的圆柱区域定义为人体所存在的区域，将通过该圆柱的中心轴的切割面中与照相机正对的切割面作为该照相机的智能窗(SmartWindow(SW))(参考非专利文献1。)。并且，该系统将照相机图像上的SW立体变换为适合于特征抽取及识别器的矩形。现有技术文献专利文献非专利文献1：李媛、伊藤诚也、三好雅则、藤吉弘亘、金子俊一，“基于智能窗变换(SmartWindowTransform)与边缘检测识别器(Edge-basedClassifier)识别器的人物检测”，2011年度精密工学会秋季大会学术讲演会讲演论文集，第920-921页
技术实现思路
专利技术要解决的课题然而，上述系统将通过圆柱的中心轴的切割面(三维空间中的铅垂面)作为SW。因此，随着人体靠近安装于从斜上方俯视人体的位置上的照相机，照相机图像上的SW的面积变小，有可能无法检测存在于照相机附近的人体。鉴于上述情况，期望提供一种能够使用以从斜上方拍摄人体的方式安装于施工机械的摄像装置的摄像图像来更可靠地检测存在于施工机械周围的人体的施工机械用人体检测系统。用于解决课题的手段本专利技术的一个实施例所涉及的施工机械用人体检测系统使用以从斜上方拍摄人体的方式安装于施工机械的摄像装置的摄像图像来检测存在于该施工机械周边的人体，该施工机械用人体检测系统具有：抽取部，抽取所述摄像图像的一部分作为识别处理对象图像；及识别部，通过图像处理来识别所述抽取部所抽取的识别处理对象图像中所包含的图像是否为人体图像，所述摄像图像中的所述识别处理对象图像的区域对应于实际空间中的规定尺寸的虚拟平面区域，在实际空间中，所述虚拟平面区域朝向所述摄像装置的方向且相对于水平面倾斜。专利技术的效果通过上述机构，可以提供一种能够使用以从斜上方拍摄人体的方式安装于施工机械的摄像装置的摄像图像来更可靠地检测存在于施工机械周围的人体的施工机械用人体检测系统。附图说明图1是搭载有本专利技术的实施例所涉及的人体检测系统的挖土机的侧视图。图2是表示人体检测系统的结构例的功能块图。图3A是后方照相机的摄像图像的例子。图3B是后方照相机的摄像图像的例子。图4是表示从摄像图像中切出识别处理对象图像时所使用的几何学关系的一例的示意图。图5是挖土机后方的实际空间的俯视图。图6A是后方照相机的摄像图像的一例。图6B是切出摄像图像中的识别处理对象图像区域而成的图。图6C是将具有识别处理对象图像区域的识别处理对象图像标准化而成的标准化图像的一例。图7A1是表示摄像图像中的识别处理对象图像区域的图。图7A2是表示具有识别处理对象图像区域的识别处理对象图像的标准化图像的图。图7B1是表示摄像图像中的识别处理对象图像区域的图。图7B2是表示具有识别处理对象图像区域的识别处理对象图像的标准化图像的图。图7C1是表示摄像图像中的识别处理对象图像区域的图。图7C2是表示具有识别处理对象图像区域的识别处理对象图像的标准化图像的图。图8A是表示识别处理对象图像区域与识别处理不适合区域之间的关系的图。图8B是表示包含与超出区域相对应的屏蔽区域和与车身映入区域的一部分相对应的屏蔽区域的标准化图像的图。图9是表示标准化图像的例子的图。图10是说明实际空间中的虚拟平面区域和后方照相机之间的后方水平距离、与标准化图像中的头部图像部分的大小之间的关系的图。图11是表示从摄像图像中切出识别处理对象图像时所使用的几何学关系的另一例的示意图。图12A是表示摄像图像中的特征图像的一例的图。图12B是作为特征图像的安全帽图像的放大图。图13是搭载有照明装置的挖土机的侧视图。图14是表示图像抽取处理的一例的流程的流程图。图15是表示图像抽取处理的另一例的流程的流程图。具体实施方式图1是作为搭载有本专利技术的实施例所涉及的人体检测系统100的施工机械的挖土机的侧视图。挖土机的下部行走体1上经由转动机构2搭载有上部转动体3。上部转动体3上安装有动臂4。在动臂4的前端安装有斗杆5，在斗杆5的前端安装有铲斗6。动臂4、斗杆5及铲斗6构成挖掘装置，通过动臂缸7、斗杆缸8及铲斗缸9分别被液压驱动。并且，上部转动体3上设有驾驶舱10，且搭载有引擎等动力源。并且，在上部转动体3的上部安装有摄像装置40。具体而言，在上部转动体3的后端上部、左端上部、右端上部安装有后方照相机40B、左侧方照相机40L、右侧方照相机40R。并且，在驾驶舱10内设有控制器30及输出装置50。图2是表示人体检测系统100的结构例的功能块图。人体检测系统100主要包含控制器30、摄像装置40及输出装置50。控制器30为进行挖土机的驱动控制的控制装置。本实施例中，控制器30由包含CPU及内部存储器的运算处理装置构成，使CPU执行存储于内部存储器的驱动控制用程序来实现各种功能。并且，控制器30根据各种装置的输出来判定挖土机的周边是否存在人体，并根据该判定结果来控制各种装置。具体而言，控制器30接收摄像装置40的输出，并执行分别与抽取部31及识别部32对应的软件程序。并且，根据该实行结果来执行挖土机的驱动控制，或者从输出装置50输出各种信息。另外，控制器30也可以是图像处理专用的控制装置。摄像装置40为拍摄挖土机周围的图像的装置，对控制器30输出所拍摄的图像。本实施例中，摄像装置40为采用CCD等摄像元件的广角照相机，在上部转动体3的上部安装成光轴朝向斜下方。输出装置50为输出各种信息的装置，例如包含显示各种图像信息的车载显示器、声音输出各种声音信息的车载扬声器等。本实施例中，输出装置50根据来自控制器30的控制指令来输出各种信息。抽取部31为从摄像装置40所拍摄的摄像图像中抽取识别处理对象图像的功能要件。具体而言，抽取部31通过运算量比较少的图像处理(以下，设为“前级图像辨识处理”。)来抽取识别处理对象图像。前级图像辨识处理包含抽取基于局部的亮度梯度或边缘的简单特征、基于霍夫(Hough)变换等的几何学特征、与根据亮度而分割的区域的面积或纵横尺寸比有关的特征等的图像处理。识别处理对象图像为成为后续的图像处理的对象的图像部分(摄像图像的一部分)，包含人体候选图像。人体候选图像是为人体图像的可能性较高的图像部分(摄像图像的一部分)。识别部32为识别抽取部31所抽取的识别处理对象图像中所包含的人体候选图像是否为人体图像的功能要件。具体而言，识别部32通过运算量比较多的图像处理(以下，设为“后级图像辨识处理”。)来识别人体候选图像是否为人体图像。后级图像辨识处理包含使用了以HOG(方向梯度直方图(HistogramsofOrientedGradients))特征量为代表的图像特征量记述和通过机器学习而生成的识别器的图像辨识处理等。基于抽取部31的识别处理对象图像的抽取的精确度越高，识别部32将人体候选图像识别为人体图像的比例越高。另外，在夜间、恶劣天气时等不适合进行拍摄的环境下无法得到所希望品质的摄像图像的情况等，识别部32可以将所有的人体候选图像识别为人体图像。即，可以将抽取部31所抽取的识别处理对象图像中的所有的人体候选图像识别为人体。这是为了防止人体的检测遗漏。接着，参考图3A及图3B对后方照相本文档来自技高网...

【技术保护点】
一种施工机械用人体检测系统，其使用以从斜上方拍摄人体的方式安装于施工机械的摄像装置的摄像图像来检测存在于该施工机械的周边的人体，所述施工机械用人体检测系统具有：抽取部，抽取所述摄像图像的一部分作为识别处理对象图像；及识别部，通过图像处理来识别所述抽取部所抽取的识别处理对象图像中所包含的图像是否为人体图像，所述摄像图像中的所述识别处理对象图像的区域对应于实际空间中的规定尺寸的虚拟平面区域，在实际空间中，所述虚拟平面区域朝向所述摄像装置的方向且相对于水平面倾斜。

【技术特征摘要】
【国外来华专利技术】2014.06.03 JP 2014-1152261.一种施工机械用人体检测系统，其使用以从斜上方拍摄人体的方式安装于施工机械的摄像装置的摄像图像来检测存在于该施工机械的周边的人体，所述施工机械用人体检测系统具有：抽取部，抽取所述摄像图像的一部分作为识别处理对象图像；及识别部，通过图像处理来识别所述抽取部所抽取的识别处理对象图像中所包含的图像是否为人体图像，所述摄像图像中的所述识别处理对象图像的区域对应于实际空间中的规定尺寸的虚拟平面区域，在实际空间中，所述虚拟平面区域朝向所述摄像装置的方向且相对于水平面倾斜。2.根据权利要求1所述的施工机械用人体检测系统，其中，所述虚拟平面区域为由实际空间中的...

【专利技术属性】
技术研发人员：清田芳永，
申请(专利权)人：住友重机械工业株式会社，
类型：发明
国别省市：日本;JP