图像处理装置、图像处理方法以及驾驶辅助系统制造方法及图纸

实施方式涉及图像处理装置、图像处理方法以及驾驶辅助系统。图像处理装置包括：控制电路，将L图像、R图像的任一个设定为基准图像，将另一个设定为参照图像，并且将参照图像中的像素的取得顺序设定为第一方向；成本最佳化运算电路，使用能够按照设定顺序来取得像素并且进行计算的路径，进行基于全局最佳化的成本最佳化运算；成本最小视差提取电路，决定各像素的视差；以及视差输出电路，使用将L图像作为基准图像的视差和将R图像作为基准图像的视差来进行交叉检验，按照每个像素来判断所计算出的视差的妥当性并输出，控制电路为，在进行基准图像与参照图像的替换的同时，将替换后的参照图像中的像素的取得顺序设定为与第一方向相反的方向。

Image Processing Device, Image Processing Method and Driving Assistance System

【技术实现步骤摘要】
图像处理装置、图像处理方法以及驾驶辅助系统本申请以日本专利申请2018-44568(申请日：2018年3月12日)为基础申请，并享受该申请的优先权。本申请通过参照该基础申请而包含该基础申请的全部内容。
实施方式涉及图像处理装置、图像处理方法以及驾驶辅助系统。
技术介绍
当通过水平排列的两个摄像机对相同的被摄体进行拍摄时，由于摄像机位置的不同，所拍摄到的两个图像中的被摄体的位置在水平方向上产生偏差。将两个图像中的被摄体的位置差称为“视差(Disparity)”。从摄像机到被摄体的距离与视差的倒数成比例。即，越远的被摄体，则视差越小，越近的被摄体，则视差越大。以往，作为求出视差的方法，广泛使用块匹配。块匹配为，从由两个摄像机拍摄的各个图像中切出小区域(块)，并在两个图像之间搜索小区域的类似度(相关值)最大的部位，由此求出视差。具体而言，在以由一个摄像机拍摄的图像(例如，由配置在左侧的摄像机拍摄的左图像)为基准的情况下，在由另一个摄像机拍摄的图像(例如，由配置在右侧的摄像机拍摄的右图像)中搜索类似度的范围，是从与左图像中的基准块的坐标相同的坐标到向水平方向左侧离开最大视差(例如128像素)的坐标为止的范围的块。该块匹配的处理简单，基本上能够对各点独立地求出视差，因此能够进行高速的计算。但是，在没有纹理的区域、存在重复图案的区域中，存在难以准确地求出视差这样的问题。另一方面，近年来，提出了如下方式：定义针对图像中的所有像素的视差的成本函数，并求出该函数成为最小的视差组合(全局匹配)。在该全局匹配中，由于进行大范围的视差推测，因此即使在没有纹理的区域、存在重复图案的区域中，也能够更准确地求出视差。但是，在全局匹配中，对于各像素，在通过与块匹配同样的方法求出了相关值之后，使用邻接像素的计算结果对自身的计算结果进行最佳化。然后，对于画面整体的像素，对最佳化运算的计算结果进行汇集，并计算出视差。即，与块匹配相比精度提高，但另一方面，存在运算量、用于暂时保持计算结果的存储量变得庞大这样的问题。并且，在将左右的图像进行替换，将右图像作为基准图像来计算视差，并检验其与将左图像作为基准图像而计算出的视差之间的差分，且对于每个像素检验是否准确地求出视差的情况下(以下表示为交叉检验)，需要进行两次全局匹配，因此存在运算量、用于暂时保持计算结果的存储量变得进一步庞大这样的问题。
技术实现思路
实施方式提供能够提高处理速率、降低存储器搭载量的图像处理装置、图像处理方法以及自动驾驶系统。本实施方式的图像处理装置为，基于通过第一拍摄单元对被摄体进行拍摄而得到的第一图像和通过与所述第一拍摄单元不同位置的第二拍摄单元对所述被摄体进行拍摄而得到的第二图像，计算视差，该图像处理装置具备控制电路，该控制电路将所述第一图像以及所述第二图像中的任一个设定为基准图像，将另一个设定为参照图像，并且将所述参照图像中的像素的取得顺序设定为第一方向。另外，还具备：成本最佳化运算电路，在所述参照图像中，使用能够按照由所述控制电路设定的取得顺序来取得像素并且进行计算的路径，进行基于全局最佳化的成本最佳化运算；成本最小视差提取电路，使用通过所述成本最佳化运算得到的成本值，来决定各像素的视差；以及视差输出电路，使用将所述第一图像作为基准图像而计算出的第一视差和将所述第二图像作为基准图像而计算出的第二视差进行交叉检验，并按照每个像素来判断并输出所计算出的视差的妥当性。并且，所述控制电路为，在进行所述基准图像与所述参照图像的替换的同时，将替换后的所述参照图像中的像素的取得顺序即第二方向设定为与所述第一方向相反的方向。附图说明图1是表示包含本实施方式所涉及的图像处理装置1的图像处理系统的构成的一例的概要框图。图2是表示距离信息运算电路11的构成的一例的框图。图3是表示每个视差成本值计算电路15的详细构成的一例的框图。图4是说明每个视差成本值计算电路15中的成本值计算步骤的一例的流程图。图5A和图5B是说明SGM法中的计算成本的路径与扫描方向之间的关系的图。图6是表示成本最佳化运算电路16的详细构成的一例的框图。图7是说明视差输出电路19中的视差的交叉检验方法的图。图8是说明本实施方式所涉及的图像处理步骤的一例的流程图。图9是说明比较例的图像处理步骤的一例的流程图。图10是表示本实施方式所涉及的移动体100的一例的图。图11是表示移动体100的构成的一例的框图。图12是表示搭载于移动体100的图像处理装置1的一例的框图。具体实施方式以下，参照附图对实施方式进行说明。图1是表示包含本实施方式所涉及的图像处理装置1的图像处理系统的构成的一例的概要框图。图像处理系统包括图像匹配处理装置(以下称为图像处理装置)1、校准装置2、图像输入装置3以及将它们连接的总线4。图1例示了使用基于2台摄像机的左右视差图像来进行立体匹配处理的图像处理系统。向图像输入装置3中输入由未图示的摄像机拍摄的多个图像(例如，由与左眼对应的摄像机拍摄的L图像5l和由与右眼对应的摄像机拍摄的R图像5r这两张图像)。L图像5l和R图像5r经由总线4输入到校准装置2。校准装置2对由设定条件、镜头的个体差异等引起的摄像机内外的静态偏差进行修正。具体而言，事先使用对格子状的图案等大小已知的特定图形图案进行拍摄而得到的图像，计算内部参数和外部参数。然后，使用内部参数和外部参数对从图像输入装置3输入的L图像5l和R图像5r分别进行转换，由此对静态偏差进行修正，生成修正完成L图像6l和修正完成R图像6r。此外，所谓内部参数，是表示焦点距离、图像主点位置、镜头畸变等摄像机的内部特性的参数。另外，所谓外部参数，是摄像机在三维空间中的旋转、平移的参数，在立体图像中，是表示在以一个图像为基准的情况下的另一个图像的旋转、平移的程度的参数。修正完成L图像6l和修正完成R图像6r经由总线4输入到图像处理装置1。图像处理装置1使用修正后的图像(修正完成L图像6l、修正完成R图像6r)进行立体匹配，生成距离图像(表示从摄像机到被摄体的距离的图像)7。图1的图像处理装置1具有处理器1a、L图像用行缓冲器(以下称为L行缓冲器)12以及R图像用行缓冲器(以下称为R行缓冲器)13。L行缓冲器12是保存修正完成L图像6l中的包含视差计算对象像素位置的行在内的多行量的像素数据的缓冲器。R行缓冲器13是保存修正完成R图像6r中的包含视差计算对象像素位置的行在内的多行量的像素数据的缓冲器。处理器1a包含距离信息运算电路11。距离信息运算电路11使用图分割法等全局匹配、SGM法(Semi-GlobalMatching法：半全局匹配法)等，按照基准图像的每个像素来计算视差并作为视差图像进行输出。另外，还将基准图像进行左右替换，而进行交叉检验。即，距离信息运算电路11中的各处理由处理器1a执行。此外，在本实施方式中使用的“处理器”的用语，例如是指CPU(CentralProcessingUnit：中央处理器)、GPU(GraphicalProcessingUnit：图形处理单元)、专用集成电路(ApplicationSpecificIntegratedCircuit：ASIC)、可编程逻辑设备(例如，简单可编程逻辑设备(SimpleProgrammableL本文档来自技高网...

【技术保护点】
1.一种图像处理装置，基于通过第一拍摄单元对被摄体进行拍摄而得到的第一图像、以及通过与所述第一拍摄单元不同位置的第二拍摄单元对所述被摄体进行拍摄而得到的第二图像，来计算视差，所述图像处理装置具备：控制电路，将所述第一图像以及所述第二图像中的任一个设定为基准图像，将另一个设定为参照图像，并且将所述参照图像中的像素的取得顺序以及运算顺序设定为第一方向；成本最佳化运算电路，在所述参照图像中，使用能够按照由所述控制电路设定的取得顺序以及运算顺序来取得像素并且进行计算的路径，进行基于全局最佳化的成本最佳化运算；成本最小视差提取电路，使用通过所述成本最佳化运算得到的成本值来决定各像素的视差；以及视差输出电路，使用将所述第一图像作为基准图像而计算出的第一视差和将所述第二图像作为基准图像而计算出的第二视差来进行交叉检验，按照每个像素来判断所计算出的视差的妥当性并输出，所述控制电路为，在进行所述基准图像与所述参照图像的替换的同时，将替换后的所述参照图像中的像素的取得顺序以及运算顺序即第二方向设定为与所述第一方向相反的方向。

【技术特征摘要】
2018.03.12 JP 2018-0445681.一种图像处理装置，基于通过第一拍摄单元对被摄体进行拍摄而得到的第一图像、以及通过与所述第一拍摄单元不同位置的第二拍摄单元对所述被摄体进行拍摄而得到的第二图像，来计算视差，所述图像处理装置具备：控制电路，将所述第一图像以及所述第二图像中的任一个设定为基准图像，将另一个设定为参照图像，并且将所述参照图像中的像素的取得顺序以及运算顺序设定为第一方向；成本最佳化运算电路，在所述参照图像中，使用能够按照由所述控制电路设定的取得顺序以及运算顺序来取得像素并且进行计算的路径，进行基于全局最佳化的成本最佳化运算；成本最小视差提取电路，使用通过所述成本最佳化运算得到的成本值来决定各像素的视差；以及视差输出电路，使用将所述第一图像作为基准图像而计算出的第一视差和将所述第二图像作为基准图像而计算出的第二视差来进行交叉检验，按照每个像素来判断所计算出的视差的妥当性并输出，所述控制电路为，在进行所述基准图像与所述参照图像的替换的同时，将替换后的所述参照图像中的像素的取得顺序以及运算顺序即第二方向设定为与所述第一方向相反的方向。2.如权利要求1所述的图像处理装置，其中，所述成本最佳化运算通过基于SGM法的合成成本值的计算来进行。3.如权利要求2所述的图像处理装置，其中，所述像素的取得顺序以及运算顺序为光栅扫描，所述第一方向是从图像的右下朝向左上的方向，所述第二方向是从图像的左上朝向右下的方向。4.如权利要求3所述的图像处理装置，其中，所述视差输出电路按照沿着所述第二方向的像素顺序重新排列视差而输出。5.如权利要求4所述的图像处理装置，其中，所述第一图像是R图像，所述第二图像是L图像，与所述第二视差相比，先计算所述第一视差。6.如权利要求1所述的图像处理装置，其中所述像素的取得顺序为光栅扫描，所述第一方向是从图像的右下朝向左上的方向，所述第二方向是从图像的左上朝向右下的方向。7.如权利要求6所述的图像处理装置，其中，所述视差输出电路按照沿着所述第二方向的像素顺序重新排列视差而输出。8.如权利要求7所述的图像处理装置，其中，所述第一图像是R图像，所述第二图像是L图像，与所述第二视差相比，先计算所述第一视差。9.如权利要求1所述的图像处理装置，其中，所述像素的运算顺序为光栅扫描，所述第一方向是从图像的右下朝向左上的方向，所述第二方向是从图像的左上朝向右下的方向。10.如权利要求9所述的图像处理装置，其中，所述视差输出电路按照沿着所述第二方向的像素顺序重新排列视差而输出。11.如权利要求10所述的图像处理装置，其中，所述第一图像是R图像，所述第二图像是L图像，与所述第二视差相比...

【专利技术属性】
技术研发人员：佐野徹，
申请(专利权)人：株式会社东芝，东芝电子元件及存储装置株式会社，
类型：发明
国别省市：日本,JP