信号处理设备、信号处理方法和程序技术

本技术涉及允许高精度校准的信号处理设备、信号处理方法和程序。所述信号处理设备具备：第一位置计算单元，第一位置计算单元根据由立体摄像机拍摄的立体图像，计算第一坐标系中的目标的三维位置；第二位置计算单元，第二位置计算单元根据能够获得水平方向和垂直方向至少之一的位置信息，和深度方向的位置信息的传感器的传感器信号，计算第二坐标系中的目标的三维位置；关联检测单元，关联检测单元检测第一坐标系中的目标与第二坐标系中的目标之间的关联；和位置关系信息估计单元，位置关系信息估计单元根据检测的关联，估计第一坐标系和第二坐标系的位置关系信息。本技术可适用于例如传感器融合的信号处理设备。

【技术实现步骤摘要】
【国外来华专利技术】信号处理设备、信号处理方法和程序
本技术涉及信号处理设备、信号处理方法和程序，尤其涉及使高精度的校准成为可能的信号处理设备、信号处理方法和程序。
技术介绍
近年来，诸如汽车之类越来越多的车辆引入了防撞系统。防撞系统通过检测前方的车子或行人，并自动进行制动控制等，避免碰撞。诸如前方的车子或行人之类的物体是通过由立体摄像机拍摄的图像的图像识别，或者利用由毫米波雷达、激光雷达等提供的雷达信息检测的。此外，利用立体摄像机和雷达两者(这被称为传感器融合(fusion))的物体检测系统的开发也在不断前进。传感器融合需要立体摄像机的坐标系和雷达的坐标系的校准，以匹配用立体摄像机检测的物体和用雷达检测的物体。例如，PTL1提出一种通过利用专用于校准的板(反射板)，进行传感器融合的校准的方法。[引文列表][专利文献][PTL1]JP2007-218738A
技术实现思路
[技术问题]然而，由于检测点局限于布置校准专用板之处，因此如PTL1中的利用校准专用板的校准方法在校准精度方面存在限制。鉴于上述情况，产生了本技术，本技术能够实现高精度的校准。[解决问题的技术方案]按照本技术的一个方面的信号处理设备包括第一位置计算单元，第一位置计算单元根据由立体摄像机拍摄的立体图像，计算第一坐标系上的目标的三维位置，第二位置计算单元，第二位置计算单元根据能够获得横向方向和纵向方向至少之一的位置信息，和深度方向的位置信息的传感器的传感器信号，计算第二坐标系上的目标的三维位置，对应检测单元，对应检测单元检测第一坐标系上的目标与第二坐标系上的目标之间的对应关系，和位置关系信息估计单元，位置关系信息估计单元基于检测的对应关系，估计第一坐标系和第二坐标系的位置关系信息。按照本技术的一个方面的信号处理方法包括以下步骤：根据由立体摄像机拍摄的立体图像，计算第一坐标系上的目标的三维位置，根据能够获得横向方向和纵向方向至少之一的位置信息，和深度方向的位置信息的传感器的传感器信号，计算第二坐标系上的目标的三维位置，检测第一坐标系上的目标与第二坐标系上的目标之间的对应关系，和基于检测的对应关系，估计第一坐标系和第二坐标系的位置关系信息。按照本技术的一个方面的程序使计算机执行包括以下步骤的处理：根据由立体摄像机拍摄的立体图像，计算第一坐标系上的目标的三维位置，根据能够获得横向方向和纵向方向至少之一的位置信息，和深度方向的位置信息的传感器的传感器信号，计算第二坐标系上的目标的三维位置，检测第一坐标系上的目标与第二坐标系上的目标之间的对应关系，和基于检测的对应关系，估计第一坐标系和第二坐标系的位置关系信息。在本技术的一个方面中，根据由立体摄像机拍摄的立体图像，计算第一坐标系上的目标的三维位置，根据能够获得横向方向和纵向方向至少之一的位置信息，和深度方向的位置信息的传感器的传感器信号，计算第二坐标系上的目标的三维位置，检测第一坐标系上的目标与第二坐标系上的目标之间的对应关系，和基于检测的对应关系，估计第一坐标系和第二坐标系的位置关系信息。注意，所述程序可通过经由传输介质传送，或者通过被记录在记录介质中而提供。信号处理设备可以是独立的设备，或者可以是构成一个设备的内部部件。[专利技术的有益效果]本技术的一个方面使高精度的校准成为可能。注意，记载在这里的效果未必是限制性的，可以表现出记载在本公开中的任意效果。附图说明图1是图解说明本技术适用于的物体检测系统的例证构成的方框图。图2是图解说明用于出货前校准处理的例证目标的视图。图3是图解说明出货前校准处理中的目标的例证布置的示图。图4是图解说明出货前校准处理中的目标的例证布置的示图。图5是说明目标检测单元和三维位置计算单元的示图。图6是说明目标检测单元、视差估计单元和三维位置计算单元的示图。图7是说明对应检测单元的示图。图8是说明位置和姿势估计单元的示图。图9是说明第一对应检测处理的示图。图10是说明第一对应检测处理的示图。图11是说明第一对应检测处理的示图。图12是说明第一对应检测处理的示图。图13是说明第二对应检测处理的示图。图14是图解说明其中执行工作时校准处理的目标检测单元的详细例证构成的方框图。图15是图解说明其中执行工作时校准处理的目标检测单元的详细例证构成的方框图。图16是具体说明工作时校准处理的示图。图17是具体说明工作时校准处理的示图。图18是具体说明工作时校准处理的示图。图19是具体说明工作时校准处理的示图。图20是具体说明工作时校准处理的示图。图21是具体说明工作时校准处理的示图。图22是说明校准处理的流程图。图23是说明图22中的出货时校准处理的流程图。图24是说明图22中的工作时校准处理的流程图。图25是图解说明目标的其他例子的示图。图26是图解说明其中目标是球的例子的示图。图27是说明检测目标是杆状物体的目标位置的方法的示图。图28是图解说明本技术适用于的计算机的实施例的例证构成的方框图。具体实施方式下面，说明实现本技术的方式(下面称为实施例)。注意，将按照以下顺序进行说明。1.物体检测系统的例证构成2.对应检测处理的详细说明3.工作时校准处理4.校准处理的处理流程5.出货时校准处理中的目标的例子6.工作时校准处理中的目标的例子7.例证的计算机构成<1.物体检测系统的例证构成>图1是图解说明本技术适用于的物体检测系统的例证构成的方框图。图1的物体检测系统1包括毫米波雷达11、立体摄像机12和信号处理设备13，是分别利用毫米波雷达11和立体摄像机12，检测将成为障碍物的物体的系统。物体检测系统1安装在诸如汽车或卡车之类的车辆中。注意，在本实施例中，尽管将说明其中毫米波雷达11和立体摄像机12被安装成以致其检测方向面向车辆的前方，以检测在车辆之前的物体的情况，不过，物体检测方向不限于车辆的前方。例如，在毫米波雷达11和立体摄像机12被安装成面向车辆的后方的情况下，物体检测系统1检测在车辆的后方的物体。毫米波雷达11沿预定方向θ发出毫米波，获得与给定物体相撞并从所述给定物体返回的反射波，并把取决于获得的反射波的反射信号提供给信号处理设备13。毫米波雷达11在车辆前方的预定角度范围内，进行毫米波扫描，并把作为结果的反射信号以及照射方向θ提供给信号处理设备13。在本实施例中，毫米波雷达11中的每次扫描预定角度范围的单位将被称为帧。立体摄像机12包括右摄像机21R和左摄像机21L。右摄像机21R和左摄像机21L被布置在相同的高度，并且在横向方向上，隔开预定间隔。右摄像机21R和左摄像机21L拍摄车辆前方的预定范围的图像。右摄像机21R拍摄的图像(下面也称为右摄像机图像)和左摄像机21L拍摄的图像(下面也称为左摄像机图像)是归因于布置位置的差异，具有视差(横向方向的差异)的图像。注意，右摄像机21R与左摄像机21L之间的位置关系被精确校准。下面，当不被特别相互区分时，右摄像机图像和左摄像机图像也被称为立体图像。信号处理设备13对从毫米波雷达11和立体摄像机12的各个传感器输出的传感器信号，进行信号处理。假定在感测时，毫米波雷达11和立体摄像机12在某种程度上时间同步。信号处理设备13包括目标检测单元31、三维位置计算单元32、目标检测单元33、视差估计单元34、三维位置计算本文档来自技高网...

【技术保护点】
一种信号处理设备，包括：第一位置计算单元，第一位置计算单元根据由立体摄像机拍摄的立体图像计算第一坐标系上的目标的三维位置；第二位置计算单元，第二位置计算单元根据能够获得横向方向和纵向方向中的至少一个的位置信息以及深度方向的位置信息的传感器的传感器信号，计算第二坐标系上的目标的三维位置；对应检测单元，对应检测单元检测第一坐标系上的目标与第二坐标系上的目标之间的对应关系；以及位置关系信息估计单元，位置关系信息估计单元基于检测到的对应关系，估计第一坐标系和第二坐标系的位置关系信息。

【技术特征摘要】
【国外来华专利技术】2015.09.30 JP 2015-1941341.一种信号处理设备，包括：第一位置计算单元，第一位置计算单元根据由立体摄像机拍摄的立体图像计算第一坐标系上的目标的三维位置；第二位置计算单元，第二位置计算单元根据能够获得横向方向和纵向方向中的至少一个的位置信息以及深度方向的位置信息的传感器的传感器信号，计算第二坐标系上的目标的三维位置；对应检测单元，对应检测单元检测第一坐标系上的目标与第二坐标系上的目标之间的对应关系；以及位置关系信息估计单元，位置关系信息估计单元基于检测到的对应关系，估计第一坐标系和第二坐标系的位置关系信息。2.按照权利要求1所述的信号处理设备，其中在将第一坐标系和第二坐标系上的各个目标与目标的事先布置信息进行核对并识别目标之后，对应检测单元检测对应关系。3.按照权利要求1所述的信号处理设备，其中对应检测单元通过相互叠加第一坐标系上的目标的三维位置和第二坐标系上的目标的三维位置，并使彼此最接近地布置的目标相互对应，检测对应关系。4.按照权利要求1所述的信号处理设备，其中第一位置计算单元计算运动被检测到的目标的三维位置，和第二位置计算单元计算运动被检测到的目标的三维位置。5.按照权利要求1所述的信号处理设备，其中第一位置计算单元根据一帧或多帧中的至少一个立体图像，计算多个目标的三维位置，第二位置计算单元根据一帧或多帧中的传感器信号，计算所述多个目标的三维位置，以及对应检测单元检测所述多个目标之间的对应关系。6.按照权利要求5所述的信号处理设备，其中第一位置计算单元根据一帧中的立体图像，计算多个目标的三维位置，以及第二位置计算单元根据一帧中的传感器信号，计算所述多个目标的三维位置。7.按照权利要求1所述的信号处理设备，还包括：存储单元，存储单元保存利用第一位置计算单元和第二位置计...

【专利技术属性】
技术研发人员：元山琢人，周藤泰广，山崎寿夫，小柳津秀纪，川崎研一，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP