车外环境识别装置制造方法及图纸

本实用新型专利技术提供一种车外环境识别装置，其根据由立体照相机拍摄到的图像识别整体的车外环境，高精度地掌握不限于车辆的各种立体物的位置关系。其将下述单元作为一体化的单元构成，即：立体照相机单元；图像处理引擎，其对由立体照相机拍摄到的一对立体图像进行处理，高速地获得整个画面内的三维位置信息；识别控制器，其使用原图和三维位置信息，对道路形状或路面状态、道路附属设施、路上行人或立体物等进行识别处理；以及控制用控制器，其根据由立体图像处理得到的识别结果，统一地进行用于驾驶辅助的各种控制，通过将该单元设置在车辆的前挡风玻璃内侧的上部，根据拍摄图像识别整个车外环境，高精度地掌握不限于车辆的各种立体物的位置关系。（*该技术在2021年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及一种车外环境识别装置，其对由搭载在车辆上的立体照相机拍摄的图像进行处理，识别车外环境。
技术介绍
近年来，对于汽车等车辆，开发并应用了对于驾驶者的各种驾驶辅助技术，其检测前行车或障碍物，判定与其碰撞的危险度，向驾驶者发出警报，或者自动地使制动器动作而使车辆停止，或者自动增减行驶速度等，以保持与前行车的车间距离而保证安全。在通常的道路状况下，本车辆的前方存在多个车辆或障碍物，存在与上述全部车辆或障碍物碰撞的可能性。因此，驾驶汽车的驾驶者不仅是对本车辆前方的车辆，对全部车辆或障碍物都必须留意。因此，在专利文献1中公开了一种技术，其同时评价包含与前行车追尾的碰撞因素在内的围绕车辆的各种危险因素，将最重要的危险因素告知驾驶者。专利文献1 日本特开平5巧似91号公报
技术实现思路
但是，在通常的道路状况下，作为必须留意的碰撞因素，不限于车辆，也包括行人、 自行车、摩托车等各种因素，为了判断与这些因素碰撞的可能性，必须识别道路白线、护栏、 与障碍物的位置关系等整体交通环境，如专利文献1所述，关于本车辆前方的碰撞，仅设定与前行车的碰撞是不充分的，不仅如此，为了识别车外环境需要多个传感器，从而造成成本上升。本技术是鉴于上述问题提出的，目的在于提供一种车外环境识别装置，其可以根据由立体照相机拍摄的图像识别整个车外环境，还可以高精度地掌握不限于车辆的各种立体物的位置关系。为了实现上述目的，本专利技术涉及的车外环境识别装置具有2台一组立体照相机， 其搭载在车辆上；图像处理引擎，其对由上述立体照相机拍摄的一对图像进行处理，获取整个画面范围内的三维位置信息；以及识别控制器，其根据由上述图像处理引擎获取的三维位置信息，识别车外环境。技术的效果根据本专利技术，可以根据由立体照相机拍摄的图像识别整个车外环境，还可以高精度地掌握不限于车辆的各种立体物的位置关系。附图说明图1是搭载在车辆上的车外环境识别装置的外观图。图2是应用车外环境识别装置的驾驶辅助装置的结构图。图3是立体匹配的说明图。图4是表示摄像图像的例子的说明图。图5是表示距离图像的说明图。图6是识别控制器的功能框图。图7是控制用控制器的功能框图。具体实施方式下面，参照附图说明本专利技术的实施方式。在图1中，标号1表示汽车等车辆(本车辆)，在该车辆1的前挡风玻璃2内侧的上部设置立体照相机单元2，其由2台1组的照相机构成，从不同的视角拍摄对象物。该立体照相机单元2形成车外环境识别装置，其利用立体照相机周期性地拍摄车外环境，对拍摄到的立体图像对进行处理，三维地识别车外环境。如图2所示，立体照相机单元2与车载的各种控制单元连接，并被应用于根据行驶环境的识别结果对驾驶者进行各种驾驶辅助的驾驶辅助装置10中。该驾驶辅助装置10 构成为，以立体照相机单元2为中心，在立体照相机单元2上经由由CAN等组成的通信母线 100而连接各种控制单元，作为与通信母线100连接的控制单元，包括发动机控制用的发动机控制器3、变速器控制用的传动控制器4、包含制动器控制在内的车体动作控制用的车辆动态控制器(VDC) 5、进行由多功能显示器(MFD)等组成的仪表的显示控制的仪表控制单元 6、以及检测本车辆的当前位置并在地图上显示而进行路线引导等的导航单元7。另外，导航单元7作为驾驶辅助装置10来说不是必需的，但使用来自导航单元7 的信息，可以补充由立体照相机单元2得到的识别结果。 立体照相机单元2所具有的立体照相机20，具有例如CXD或CMOS等摄像元件，由快门速度可变且彼此同步的1组(左右)照相机20a、20b构成。这两台照相机20a、20b，按照使彼此的光轴大致平行的方式，以规定的基线长度(光轴间距)而机械地固定，根据由两台照相机20a、20b拍摄的一对图像间的相对于同一个物体的视差，使用照相机安装位置或焦距等照相机参数，可以根据三角测量原理求出距离。因此，立体照相机单元2除了立体照相机20之外，还具有图像处理引擎30，其对由立体照相机20拍摄的一对立体图像进行处理，高速地获得整个画面范围内的三维位置信息；以及识别控制器40，其使用来自立体照相机20的原图和三维位置信息，识别处理道路形状或路面状态、道路附属设施、路上的行人或立体物等。此外，立体照相机单元2还具有控制用控制器50，其根据由立体图像处理得到的识别结果，统一进行用于驾驶辅助的各种控制，使这些立体照相机20、图像处理引擎30、和识别控制器40成为一体化的单元而构成。图像处理引擎30将由立体照相机20拍摄的一对立体图像中的一幅作为基准图像，将另一幅作为比较图像，通过立体匹配求出基准图像与比较图像的对应位置的偏差量， 生成基于该偏差量的距离图像作为距离信息。作为立体匹配，例如可以使用公知的区域搜索法，评价基准图像与比较图像的相关度。在本实施方式中，作为相关度的评价参数，计算基准图像的小区域(区块)和比较图像的小区域(区块)间的像素值的差值(绝对值)的总和(SAD:Sum of AbsoluteDifference)。作为像素值，一般使用各像素的亮度值。基于SAD的评价参数的值被称为城市街区(city block)距离，区块间的相关性越高(越类似)，城市街区距离的值越小，根据城市街区距离取最小值的区块间的水平方向的位移量，可得到视差。城市街区距离C可以按照下述方式得到，S卩，利用水平方向为i坐标、垂直方向为j坐标的直角坐标定义图像平面上的位置，在使搜索彼此相关度的区块为 i X j (i = 0 n，j = 0 η)的搜索区块时，如下式所示，在i轴上每移动规定的平移值而进行一次运算，从而得到基准图像的搜索区块M(i，j)与比较图像的搜索区块S(i，j)的SAD值。C=E |M(i, j)-S(i, j)在上述SAD运算中，例如，如果以4X 4像素的搜索区块作为对象，相对于基准图像的搜索区块(主区块)，一边使比较图像的搜索区块(子区块)的位置在水平扫描线上逐个像素移动，一边进行SAD运算，则如图3所示，求出城市街区距离为最小值CO的点，作为主区块和子区块的相关度最高的对应位置(一致点)。该一致点处的主区块与子区块的1个像素单位的偏差量(水平扫描方向的主区块的位置im与子区块的位置is的差)，成为具有1个像素单位分辨率的视差D (像素视差)。 基于该像素视差的距离信息，因为随着至对象物体为止的距离增大而分辨率降低，所以根据需要进行下述处理，即，求出小于或等于1个单位像素的分辨率的亚像素水平的视差。通过上述立体匹配得到的视差信息，作为由图像方式的距离图像得到的距离信息而输出。例如，如图4所示，如果对拍摄到车辆200、300、或护栏400等立体物的图像(图4 表示用一个照相机拍摄到的图像)进行立体匹配，则可以得到图5所示的距离图像。在图 5所示的距离图像的例子中，具有距离数据的是黑点部分，这是图4的图像的各像素中在左右方向上相邻的像素之间明暗变化较大的部分。图像上的坐标系如图5所示，以左上角为原点，将横向作为i坐标轴，将纵向作为j坐标轴，单位是像素。另外，图像处理引擎30还具有进行构成立体照相机20的各照相机20a、20b的快门速度控制、两个照相机间的几何学及光学偏差校正或亮度平衡校正等功能。即，图像处理引擎30使用仿射变换校正表而对利用照相本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：樋渡穰，柴田英司，关口守，
申请(专利权)人：富士重工业株式会社，
类型：实用新型
国别省市：