基于车载相机的场景建模进行运动行人预测的方法和装置制造方法及图纸

本申请公开了一种利用车载相机信息的运动行人预测方法,包括：获取与行人运动意图相关的行人周围的交通场景的基本场景元素；基于基本场景元素以及行人的随着时间变化的三维3D距离信息，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系；利用获得的关系，建立行人与周围所有基本场景元素之间的上下文相关模型；以及基于实时获得的与当前行人相关的当前场景元素，利用建立的上下文相关模型，对行人下一步的运动状态进行预测，以生成行人下一步的运动预测结果。

【技术实现步骤摘要】
基于车载相机的场景建模进行运动行人预测的方法和装置
本专利技术涉及数字图像处理以及模式识别，更具体地说，涉及一种利用车载相机图像来快速预测行人运动状态的方法和装置。
技术介绍
本申请提供了一种方法和装置，可以快速预测行人运动的下一步状态。该方法和装置可以被用到车载摄像机的多种应用中。行人预测是驾驶员辅助驾驶系统和车辆自动导航系统中必不可少的重要功能。行人运动的准确快速预测对于车祸的减少和驾驶的安全，有着重要的作用。特别当雾天、雨天、或者当驾驶员被对面高光灯晃到眼睛时，自动地行人运动状态预测有助于及时保证行驶的安全。在日本专利JP2011070384A中，公开了一种估计行人下一步的运动状态的方法。该方法通过定义一种能量函数来精确地估计行人下一步的运动状态。能量函数中的元素包括行人行走的速度、目的地位置、与其他行人之间的距离等。这篇专利利用了能量函数，并且将场景元素中的目的地位置作为了能量函数中的一项。并且，这篇专利是基于不动场景的俯视图，而未利用变化着的灰度/彩色图像和深度图像。在日本专利JP2009019920A中，提供了一种让行人选择行走路线的方法。对于每条待选择的路线，路线上有行人可能会经过或者进去的地点，计算所有这些地点的危险性系数，得到这条待选路线的总的危险性系数。行人基于每条待选路线的危险性系数，来选择下一步的行走路线。这篇专利利用了场景元素信息来计算路线的危险性系数，为行人的下一步路线选择给出度量依据。未能利用场景元素信息来推断出行人的运动意图，从而预测出行人下一步的运动状态。以上现有技术描述的方法并不能有效地提供一种快速预测行人下一步运动状态的方法。传统的运动行人预测方法一般只考虑行人内在的性质，如运动的历史信息等。车辆的运动常常是遵循一定运动规律的逐渐变化的运动，如速度的改变、方向的改变等，但是和车辆的运动比起来，行人的运动变化就更要随机得多，如突然停下、或者突然改变运动速度或者方向等。因此对于行人的预测就更加困难和更有挑战性。
技术实现思路
本专利技术的另外方面和优点部分将在后面的描述中阐述，还有部分可从描述中明显地看出，或者可以在本专利技术的实践中得到。由于行人在城市交通环境下的行走，常常是有目的性有意识的运动，因此在本申请中，我们利用上下文关联的场景元素来建立模型，推断行人潜在的运动意图，从而预测行人下一步的运动状态(速度、方向等)。对于车载相机得到的图像，首先利用物体检测/识别技术将城市交通场景下的与行人有关的场景元素识别出来。然后基于时间的变化和3D距离信息，挖掘这些场景元素与行人之间的关联，建立上下文相关的场景模型。最后利用此模型来预测行人下一步的运动状态。本申请公开了一种利用车载相机信息的运动行人预测方法,包括：获取与行人运动意图相关的行人周围的交通场景的基本场景元素；基于基本场景元素以及行人的随着时间变化的三维3D距离信息，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系；利用获得的关系，建立行人与周围所有基本场景元素之间的上下文相关模型；以及基于实时获得的与当前行人相关的当前场景元素，利用建立的上下文相关模型，对行人下一步的运动状态进行预测，以生成行人下一步的运动预测结果。本申请还公开了一种利用车载相机信息的运动行人预测装置,包括：场景元素生成模块，用于获取与行人运动意图相关的行人周围的交通场景的基本场景元素；场景元素分析模块，用于基于基本场景元素以及行人的随着时间变化的三维3D距离信息，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系；场景元素建立模块，用于利用获得的关系，建立行人与周围所有基本场景元素之间的上下文相关模型；以及行人预测模块，用于基于实时获得的与当前行人相关的当前场景元素，利用建立的上下文相关模型，对行人下一步的运动状态进行预测，以生成行人下一步的运动预测结果。附图说明通过结合附图对本专利技术的优选实施例进行详细描述，本专利技术的上述和其他目的、特性和优点将会变得更加清楚，其中相同的标号指定相同结构的单元，并且在其中：图1示出了根据本专利技术实施例的车辆控制系统的示意图。图2示出了根据本专利技术实施例的基于车载相机图像对场景元素进行建模来预测行人下一步运动状态的图像处理设备的方框图。图3示出了根据本专利技术实施例的利用车载相机信息的运动行人预测方法的功能框图。图4示出了根据本专利技术实施例利用车载相机信息的运动行人预测方法的的数据流。图5示出了根据本专利技术实施例利用车载相机信息的运动行人预测装置的方框图。图6示出了根据本专利技术实施例的场景元素生成模块51的方框图。图7示出了根据本专利技术实施例的场景元素分析模块52的方框图。图8示出了根据本专利技术实施例的场景模型建立模块53的方框图。图9示出了场景元素生成效果的示意图，其中图9A示出了深度图像；图9B示出了灰度图像；图9C示出了得到的物体。图10示出了场景元素分析模块工作的示意图，其中图10A示出了场景俯视草图；图10B示出了用DBN建立起来的行人与场景元素之间的关联。图11示出了距离加权函数的示意图。图12示出了条件转换概率的示意图。图13示出了上下文相关的场景模型的示意图。图14示出了根据本专利技术实施例的利用车载相机信息的运动行人预测方法的流程图。具体实施方式为了使本领域技术人员更好地理解本专利技术，下面结合附图和具体实施方式对本专利技术作进一步详细说明。图1示出了根据本专利技术实施例的车辆控制系统的示意图。如图1所示，根据本专利技术的车辆控制系统利用本申请提出的基于车载相机图像上对场景元素进行建模来快速预测行人下一步的运动状态，实现车辆自动控制。车辆控制系统安装在车辆100之上。该系统包括摄像头101、图像处理模块102以及车辆控制模块103。图1示出了一个双目摄像头，但本领域技术人员应该理解，根据实际需求摄像头可以为一个或多个。摄像头101例如可以安装在靠近车辆后视镜的位置，用于捕获车辆100前方的场景。所捕获的车辆前方场景的图像将作为图像处理模块102的输入。图像处理模块102分析输入的图像，对他们进行预处理，识别其中与行人相关的场景元素，利用建立的场景模型，对行人的下一步运动状态进行预测。车辆控制模块103接收由图像处理模块102输出的信号，根据得到的行人运动的预测结果，生成控制信号来控制车辆100的行驶方向和行驶速度。图2示出了根据本专利技术实施例的基于车载相机图像对场景元素进行建模来预测行人下一步运动状态的图像处理设备的方框图。图像处理设备包括摄像头101和图像处理模块102。摄像头101包括图像传感器201和摄像头数字信号处理器(digitalsignalprocessing,DSP)202。图像传感器201，用于捕获图像，将光信号转换为电子信号，将捕获的当前车辆100前方的图像转换为模拟图像信号，再将结果传入摄像头DSP202。如果需要，摄像头101还可以进一步包括镜头、滤镜，等等。在本设备中，可以包含多个摄像头101，这些摄像头配准后可以同时捕获多幅图像。摄像头DSP202将模拟图像信号转换为数字图像信号，并发送到图像处理模块102。图像处理模块102包括图像输入接口203、深度图成像单元204、中央处理单元CPU205、内存206、以及本文档来自技高网...

【技术保护点】
1.一种利用车载相机信息的运动行人预测方法,包括：获取与行人运动意图相关的行人周围的交通场景的基本场景元素；基于基本场景元素以及行人的随着时间变化的三维3D距离信息，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系；利用获得的关系，建立行人与周围所有基本场景元素之间的上下文相关模型；以及基于实时获得的与当前行人相关的当前场景元素，利用建立的上下文相关模型，对行人下一步的运动状态进行预测，以生成行人下一步的运动预测结果；其中，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系包括：利用动态贝叶斯网络来建立场景元素与行人状态变化之间的结构关系；基于基本场景元素以及行人的随着时间变化的3D距离信息以及场景元素状态，生成所述结构关系中场景元素与行人之间的条件转换概率函数；以及结合所述结构关系以及条件转换概率函数，获得基本场景元素与行人状态变化之间的关系。

【技术特征摘要】
1.一种利用车载相机信息的运动行人预测方法,包括：获取与行人运动意图相关的行人周围的交通场景的基本场景元素；基于基本场景元素以及行人的随着时间变化的三维3D距离信息，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系；利用获得的关系，建立行人与周围所有基本场景元素之间的上下文相关模型；以及基于实时获得的与当前行人相关的当前场景元素，利用建立的上下文相关模型，对行人下一步的运动状态进行预测，以生成行人下一步的运动预测结果；其中，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系包括：利用动态贝叶斯网络来建立场景元素与行人状态变化之间的结构关系；基于基本场景元素以及行人的随着时间变化的3D距离信息以及场景元素状态，生成所述结构关系中场景元素与行人之间的条件转换概率函数；以及结合所述结构关系以及条件转换概率函数，获得基本场景元素与行人状态变化之间的关系。2.如权利要求1所述的运动行人预测方法，获取与行人运动意图相关的行人周围的交通场景的基本场景元素包括：对利用车载相机捕获的图像中的物体进行检测；以及识别检测到的物体以获取与行人运动意图相关的行人周围的交通场景的基本场景元素。3.如权利要求2所述的运动行人预测方法，对车载相机捕获的图像中的物体进行检测包括：生成利用车载相机捕获的车辆前部视野中的连续图像的灰度/彩色图像以及3D深度图像；对灰度/彩色图像以及3D深度图像中的物体进行检测。4.如权利要求1所述的运动行人预测方法，其中，建立行人与周围所有基本场景元素之间的上下文相关模型包括：根据识别出的所有基本场景元素彼此之间的关联性以及所有基本场景元素与行人之间的关系，对所有基本场景元素进行聚类以得到分类的场景元素群；以及基于分类的场景元素群以及基本场景元素与行人状态变化之间的关系，建立行人与所有基本场景元素之间的上下文相关模型。5.如权利要求1所述的运动行人预测方法，其中...

【专利技术属性】
技术研发人员：胡平，刘媛，师忠超，鲁耀杰，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP