信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质制造方法及图纸

一种信息处理装置包括：第一生成单元，其被配置为根据其中对象的竖直方向位置、水平方向位置和深度方向位置彼此相关联的信息生成其中对象的水平方向位置和深度方向位置彼此相关联的第一信息；第一检测单元，其被配置为基于第一信息检测表示对象的一个区域；第二生成单元，其被配置为根据其中对象的竖直方向位置、水平方向位置和深度方向位置彼此相关联的信息生成第二信息，该第二信息的分离性能比其中对象的水平方向位置和深度方向位置彼此相关联的第一信息的分离性能高；第二检测单元，其被配置为基于第二信息检测表示对象的多个区域；以及输出单元，其被配置为使基于第一信息检测到的一个区域与基于第二信息检测到的多个区域相关联，并输出彼此相关联的该一个区域和该多个区域。

Information Processing Device, Imaging Device, Equipment Control System, Mobile Object, Information Processing Method and Computer Readable Recording Media

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质
本专利技术涉及信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质。
技术介绍
在现有技术中，从机动车的安全性的观点出发，考虑到在行人与机动车碰撞的情况下如何挽救行人和保护乘员，已经开发了机动车车身结构等。然而，近年来，信息处理技术和图像处理技术已经得到发展，使得已经开发出快速检测人和机动车的技术。通过应用这些技术，已经开发出了一种通过在机动车与对象碰撞之前自动制动来防止碰撞的机动车。为了自动控制机动车，需要精确测量到诸如人或另一个汽车之类的对象的距离。因此，使用毫米波雷达和激光雷达的距离测量、使用立体摄像机的距离测量等被投入实际使用。当立体摄像机被用作识别对象的技术时，基于投射在拍摄的亮度图像中的每个对象的视差来生成视差图像，并且通过对具有相似视差值的像素组进行整合来识别对象。专利文献1公开了一种使用通过立体图像处理生成的距离图像来检测对象的技术(一种抑制错误检测的技术)，使得当在多个检测到的对象中存在一组相同的对象时，相同的对象被错误地认为是多个分开的小对象(例如，两个行人)，但是相同的对象应被视为一个对象并被检测为单个对象(例如，一个在前的车辆)。
技术实现思路
技术问题然而，在用于从由立体摄像机拍摄的视差图像检测诸如车辆或行人的对象的相关技术中，例如，诸如车辆的对象与该对象相邻的另一个对象可能被检测为一个对象。鉴于上述传统问题，需要提供一种用于提高识别对象的性能的技术。解决技术问题的技术方案根据本专利技术的示例性实施方式，提供了一种信息处理装置，其包括：第一生成单元，其被配置为根据其中对象的竖直方向位置、水平方向位置和深度方向位置彼此相关联的信息生成其中对象的水平方向位置和深度方向位置彼此相关联的第一信息；第一检测单元，其被配置为基于第一信息检测表示对象的一个区域；第二生成单元，其被配置为根据其中对象的竖直方向位置、水平方向位置和深度方向位置彼此相关联的信息生成第二信息，该第二信息的分离性能比其中对象的水平方向位置和深度方向位置彼此相关联的第一信息的分离性能高；第二检测单元，其被配置为基于第二信息检测表示对象的多个区域；以及输出单元，其被配置为将基于第一信息检测到的一个区域与基于第二信息检测到的多个区域相关联，并输出彼此相关联的该一个区域和该多个区域。专利技术的有益效果根据所公开的技术，可以提高识别对象的性能。附图说明图1A是安装有根据第一实施方式的设备控制系统的车辆的侧视图。图1B是图1A所示的车辆的前视图。图2是示出根据第一实施方式的对象识别装置的硬件配置的示例的图。图3是示出根据第一实施方式的对象识别装置的功能块配置的示例的图。图4是示出根据第一实施方式的对象识别装置的识别处理单元的功能块配置的示例的图。图5A是示出参考图像的示例的图。图5B是示出从视差图像和参考图像生成的Vmap的示例的图。图6A是示出参考图像的示例的图。图6B是示出从参考图像和视差图像生成的Umap的示例的图。图6C是示出从参考图像和视差图像生成的Umap的另一个示例的图。图7A是示出从Umap生成的真实Umap的示例的图。图7B是示出从Umap生成的真实Umap的示例的图。图8是用于说明对对象的类型进行分类的方法的图。图9是示出由聚类处理单元执行的处理的示例的流程图。图10A是用于说明创建检测框架的处理的图。图10B是用于说明创建检测框架的处理的图。图11是示出基本检测处理的示例的流程图。图12是示出整合检测处理的示例的流程图。图13是示出选择要输出的对象区域的处理的示例的流程图。图14是示出选择要输出的对象区域的处理的示例的流程图。图15A是用于说明在用于诸如车辆的对象区域的检测框架的情况下的背景检测处理的图。图15B是用于说明在用于诸如车辆的对象区域的检测框架的情况下的背景检测处理的图。图15C是用于说明在用于诸如车辆的对象区域的检测框架的情况下的背景检测处理的图。图16A是用于说明在用于其中组合有诸如行人的两个组的对象区域的检测框架的情况下的背景检测处理的图。图16B是用于说明在用于其中组合有诸如行人的两个组的对象区域的检测框架的情况下的背景检测处理的图。图16C是用于说明在用于其中组合有诸如行人的两个组的对象区域的检测框架的情况下的背景检测处理的图。图17是示出剔除处理的示例的流程图。图18A是用于说明基于背景信息的剔除处理的图。图18B是用于说明基于背景信息的剔除处理的图。图19是示出根据第二实施方式的设备控制系统的示意性配置的示意图。图20是成像单元和分析单元的示意性框图。图21是示出主体和每个摄像机单元的成像透镜之间的位置关系的图。图22是用于示意性说明分析单元的功能的图。图23是示出对象检测处理单元的功能的示例的图。图24是示出路面检测处理单元的功能的示例的图。图25是示出拍摄图像的示例的图。图26是示出高Umap的示例的图。图27是示出标准Umap的示例的图。图28是示出聚类处理单元的特定功能的示例的图。图29是示出拍摄图像的示例的图。图30是示出隔离区域的示例的图。图31是示出与图30所示的隔离区域对应的视差图像上的区域的图。图32是用于说明剔除处理的图。图33是示出由聚类处理单元执行的处理的示例的流程图。图34是示出隔离区域检测处理的示例的流程图。图35是示出基本检测处理的示例的流程图。图36是示出在执行二值化处理之后的示例的图。图37是示出分离检测处理的示例的流程图。图38是示出用于整合的检测处理的示例的流程图。图39A是示出用于对检测结果进行分类的条件的示例的表。图39B是示出用于对检测结果进行分类的条件的示例的表图39C是示出用于对检测结果进行分类的条件的示例的表。图40是示出最终判定处理的示例的流程图。图41A是示出剔除条件的示例的图。图41B是示出剔除条件的示例的表。图42是示出合并处理的条件的示例的表。图43是示出校正处理的示例的图。图44是示出整合校正处理的示例的流程图。图45是示出在包含框架内具有视差的像素的外接矩形的图。图46是示出部分框架的校正处理的过程的流程图。图47是示出是否是组合处理的目标的条件的示例的表。图48是示出短距离的校正处理的过程的流程图。图49是示出长距离的校正处理的过程的流程图。图50是示出高度图的示例的图。图51是示出关注区域的示例的图。图52是示出高度轮廓的示例的图。图53是示出高度轮廓的示例的图。图54是示出组合判定处理的过程的流程图。附图旨在描述本专利技术的示例性实施方式，而不应被解释为限制其范围。在各个附图中，相同或相似的附图标记表示相同或相似的部件。具体实施方式本文使用的术语仅用于描述特定实施方式的目的，并不意图限制本专利技术。如本文所使用的，单数形式“一”，“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。在描述附图所示的优选实施方式时，为了清楚起见，可以采用特定术语。然而，本专利说明书的公开内容并不旨在限于如此选择的特定术语，并且应理解，每个特定元件包括具有相同功能、以类似方式操作并实现类似的结果的所有技术等效物。第一实施方式下面参照附图具体描述实施方式。这里，举例说明对象识别装置1安装在机动车上的情况。包括对象识别装置的车辆的示本文档来自技高网...

【技术保护点】
1.一种信息处理装置，其包括：第一生成单元，其被配置为根据其中对象的竖直方向位置、水平方向位置和深度方向位置彼此相关联的信息生成其中所述对象的水平方向位置和深度方向位置彼此相关联的第一信息；第一检测单元，其被配置为基于所述第一信息检测表示所述对象的一个区域；第二生成单元，其被配置为根据其中对象的竖直方向位置、水平方向位置和深度方向位置彼此相关联的信息生成第二信息，所述第二信息的分离性能比其中对象的水平方向位置和深度方向位置彼此相关联的第一信息的分离性能高；第二检测单元，其被配置为基于所述第二信息检测表示对象的多个区域；以及输出单元，其被配置为使基于所述第一信息检测到的所述一个区域与基于所述第二信息检测到的所述多个区域相关联，并输出彼此相关联的所述一个区域和所述多个区域。

【技术特征摘要】
【国外来华专利技术】2016.11.25 JP 2016-229468;2016.11.25 JP 2016-229561.一种信息处理装置，其包括：第一生成单元，其被配置为根据其中对象的竖直方向位置、水平方向位置和深度方向位置彼此相关联的信息生成其中所述对象的水平方向位置和深度方向位置彼此相关联的第一信息；第一检测单元，其被配置为基于所述第一信息检测表示所述对象的一个区域；第二生成单元，其被配置为根据其中对象的竖直方向位置、水平方向位置和深度方向位置彼此相关联的信息生成第二信息，所述第二信息的分离性能比其中对象的水平方向位置和深度方向位置彼此相关联的第一信息的分离性能高；第二检测单元，其被配置为基于所述第二信息检测表示对象的多个区域；以及输出单元，其被配置为使基于所述第一信息检测到的所述一个区域与基于所述第二信息检测到的所述多个区域相关联，并输出彼此相关联的所述一个区域和所述多个区域。2.根据权利要求1所述的信息处理装置，其中，所述第二生成单元生成分辨率比所述第一信息的分辨率高的第二信息。3.根据权利要求1或2所述的信息处理装置，其还包括：剔除单元，该剔除单元被配置为剔除彼此相关联并由所述输出单元输出的所述一个区域和所述多个区域中的一方。4.根据权利要求3所述的信息处理装置，其中，当在所述一个区域中检测到比估计存在于所述一个区域中的对象更远的对象时，所述剔除单元剔除所述一个区域。5.根据权利要求3或4所述的信息处理装置，其中，当存在与所述一个区域和所述多个区域中的预先估计的区域的尺寸不对应的非对应区域时，所述剔除单元剔除所述非对应区域。6.根据权利要求3至5中任一项所述的信息处理装置，其中，当所述多个区域占据所述一个区域的预定比率或更大比率时，所述剔除单元剔除所述多个区域。7.根据权利要求1至6中任一项所述的信息处理装置，其还包括：校正单元，该校正单元被配置为当所述多个区域之间的深度方向上的距离和水平方向上的距离中的至少一个小于或等于预定的阈值时，组合所述多个区域。8.根据权利要求1所述的信息处理装置，其中：所述第一生成单元使用包括大于预定参考对象的竖直方向位置的信息来生成所述第一信息，并且所述第二生成单元使用包括比预定参考对象大预定值或更大值的竖直方向位置的信息来生成所述第二信息。9.根据权利要求8所述的信息处理装置，其还包括：校正单元，该校正单元被配置为当彼此相关联的所述一个区域和所述多个区域比预定的深度方向位置更近时，执行第一校正...

【专利技术属性】
技术研发人员：天野圣也，横田聪一郎，木村辅宏，吉田淳，大林阳一郎，木田真太郎，久保园浩喜，冈田大辅，铃木旅人，高桥祯郎，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP