图像处理装置、图像处理方法和车辆控制装置制造方法及图纸

提供了图像处理装置、图像处理方法和车辆控制装置。使图像处理高效。根据实施例的图像处理装置包括行存储器、多个流水线以及控制从行存储器到处理单元的数据读取的行存储器控制电路。处理单元包括执行第一算术运算的第一运算器、基于根据第一运算器的算术运算结果的第一中间数据执行第二算术运算以及根据顺序地改变周边像素时的第一中间数据计算第二中间数据的第二运算器、基于第一中间数据执行第三算术运算以及根据顺序地改变周边像素时的第一中间数据计算第三中间数据的第三运算器以及延迟第三中间数据的延迟元件。

【技术实现步骤摘要】
图像处理装置、图像处理方法和车辆控制装置相关申请的交叉引用2016年3月25日提交的日本专利申请第2016-061868号的公开的全部内容通过引用合并于此，该公开包括说明书、附图和摘要。
技术介绍
本专利技术涉及图像处理装置、图像处理方法和车辆控制装置。对执行图像处理和音频处理的数据处理装置的高速操作的需求逐年提高。特别地，对于应用于车辆的图像处理装置和图像识别装置，不仅需要高速处理而且需要准确地检测和识别物体的技术。近年来由于内容的丰富和多媒体的发展，在图像数据增大之后，该趋势增长越来越多。特别地，需要巨量的图像数据和巨大数量的处理次数来根据前方监控系统中的高密度像素信息计算运动信息和距离信息。因此，可以预料此后将进一步需要高性能。为了满足需求，日本未经审查的专利申请公开第2003-296096号公开了通过流水线处理执行并行处理的算术装置。在日本未经审查的专利申请公开第2003-296096号中多个算术单元串联耦合。前级算术单元的算术运算数据输出至后级算术单元。日本未经审查的专利申请公开第2002-182905号公开了通过多个算术元件执行算术指令的装置。在日本未经审查的专利申请公开第2002-182905号中，可以直接从算术元件中的每一个算术元件访问寄存器。寄存器保存每个算术元件的算术运算结果。
技术实现思路
近年来，为了控制复杂内容，需要算术单元通过使用另一个算术单元的算术运算结果执行算术运算的复杂控制。每个算术单元可以参考在前级算术单元之前布置的算术单元的处理结果。在该情况下，在日本未经审查的专利申请公开第2003-296096号中公开的流水线配置中，需要将处理结果作为输入再次分配给后级算术单元。当流水线级的数量很大时，指令系统变得复杂。此外，存在选择寄存器的控制复杂化的问题。此外，当将日本未经审查的专利申请公开第2002-182905号中描述的方法应用于在“AccurateandEfficientStereoProcessingbySemi-GlobalMatchingandMutualInformation”(因特网搜索：http://www.robotic.dlr.de/fileadmin/robotic/hirschmu/cvpr05hh.pdf)中描述的立体图像时，出现保存中间生成数据的寄存器的数量增加的问题。在诸如立体处理和光学流处理的处理中，存在与目标图像比较的比较图像。在立体处理中，不同相机处理相同时间的图像。在光学流处理中，相同相机处理不同时间的图像。考虑通过使用两个图像的像素数据执行算术运算的情况。由多个级对流水线处理进行配置。存在放大和选择被在每个级中重复的许多算术运算。放大是计算许多选择候选的算术运算。选择是从多个选择候选当中选择最优数据的算术运算。因此，在诸如立体处理和光学流处理的处理中，生成中间生成的巨量选择候选或者用于生成选择候选的巨量数据。因此，当采用在一维通路上执行应用于立体处理和光学流处理的函数结果的优化计算的方法时，出现保存中间生成数据的寄存器的数量增加的问题。其它目的和新颖的特性将通过附图和本说明书的描述而变得清楚。根据实施例，图像处理装置包括并行布置的多个流水线。流水线中的每一个流水线具有多级处理单元。处理单元中的每一个处理单元包括基于与第一图像的目标像素相对应的目标像素数据和第二图像中与目标像素的周边像素相对应的周边像素数据执行第一算术运算的第一运算器、基于根据第一运算器的算术运算结果的第一中间数据执行第二算术运算以及根据顺序地改变周边像素时的第一中间数据计算第二中间数据的第二运算器、基于第一中间数据执行第三算术运算以及根据顺序地改变周边像素时的第一中间数据计算第三中间数据的第三运算器、保存顺序地改变周边像素时的第二中间数据的寄存器以及延迟来自第三运算器的第三中间数据的延迟元件。根据实施例，可以高效地执行图像处理。附图说明图1是示出安装有图像处理装置的车辆的配置的框图。图2是示出图像处理装置的电路配置的控制框图。图3是示出图像处理方法的流程图。图4是示出当使用通用硬件配置时图像处理方法的图像处理步骤的处理流程。图5是用于解释图4中的图像处理中的第一图像和第二图像的像素的图。图6是用于解释图4中的图像处理的图。图7是示出图6中所示的处理中的执行流程的图。图8是用于解释使图6中的流水线处理并行化的配置的图。图9是示出图8中所示的处理中的执行流程的图。图10是用于解释实施例中的目标像素和周边像素的图。图11是用于解释根据实施例的图像处理装置中的处理的概念图。图12是示出图像处理装置的主要部分的配置的图。图13是示出图12中所示的处理中的执行流程的图。图14是示出图像中所包括的像素的图。图15是用于解释像素传播的数量和像素传播方向的图。图16是示出并行化程度与寄存器开销之间的关系的图。图17是示出行存储器的配置的图。图18是示意性地示出根据第二实施例的图像处理装置的处理单元的配置的图。图19是示出图18中所示的处理中的执行流程的图。图20是示出根据另一个实施例的图像处理装置的配置的框图。具体实施方式为了解释的清楚起见，适当地省略和简化下面的说明书和附图。附图中被示出为执行各种处理的功能块的组件可以通过作为硬件的CPU、存储器和其它电路来形成，以及通过作为软件加载在存储器中的程序等等来实现。因此，本领域技术人员应当理解，功能块可以通过仅硬件、仅软件或者这些的组合以各种形式来实现，以及功能块不限于硬件、软件以及这些的组合中的任何一个。在附图中，相同组件由相同参考符号指示，并且适当地省略冗余描述。上面描述的程序可以存储在各种类型的非暂时性计算机可读介质中以及被提供给计算机。非暂时性计算机可读介质包括各种类型的有形存储介质。非暂时性计算机可读介质的示例包括磁记录介质(例如，软盘、磁带和硬盘驱动器)、磁光记录介质(例如，磁光盘)、CD-ROM(只读存储器)、CD-R、CD-R/W和半导体存储器(例如，掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪速ROM和RAM(随机存取存储器))。可以通过各种类型的暂时性计算机可读介质向计算机提供程序。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质可以通过有线通信路径(诸如，电线和光纤)或者无线通信路径向计算机提供程序。根据实施例的图像处理装置是并行地对两个图像执行流水线处理的图像处理装置。即，图像处理装置包括并行布置的多个流水线。每个流水线包括多级处理单元。由处理单元计算的数据输出至后级处理单元。从而，可以执行流水线处理。例如，两个图像是由具有两个相机的立体相机在左-右方向上同时捕获的立体图像或者由一个相机在不同时刻捕获的两个图像。可以通过在立体处理和光学流处理中执行图案匹配来获得图案的距离信息和运动信息。作为图案匹配，可以使用“AccurateandEfficientStereoProcessingbySemi-GlobalMatchingandMutualInformation”(因特网搜索：http://www.robotic.dlr.de/fileadmin/robotic/hirschmu/cvpr05hh.pdf)中描述的半全局匹配。在实施例中，将描述对由车辆上安装的立本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：行存储器，行存储器存储第一图像和第二图像中包括的像素数据；多个流水线，所述多个流水线并行布置以及具有多级处理单元，所述多级处理单元中的每一个对像素数据执行流水线处理；以及行存储器控制电路，行存储器控制电路控制从行存储器到处理单元的数据读取，其中处理单元中的每一个包括：第一运算器，第一运算器基于与第一图像的目标像素相对应的目标像素数据和第二图像中与所述目标像素的周边像素相对应的周边像素数据执行第一算术运算，第二运算器，第二运算器基于根据第一运算器的算术运算结果的第一中间数据执行第二算术运算，以及根据顺序地改变周边像素时的第一中间数据计算第二中间数据，第三运算器，第三运算器基于第一中间数据执行第三算术运算，以及根据顺序地改变周边像素时的第一中间数据计算第三中间数据，寄存器，寄存器保存顺序地改变周边像素时的第二中间数据，以及延迟元件，延迟单元延迟来自第三运算器的第三中间数据。

【技术特征摘要】
2016.03.25 JP 2016-0618681.一种图像处理装置，包括：行存储器，行存储器存储第一图像和第二图像中包括的像素数据；多个流水线，所述多个流水线并行布置以及具有多级处理单元，所述多级处理单元中的每一个对像素数据执行流水线处理；以及行存储器控制电路，行存储器控制电路控制从行存储器到处理单元的数据读取，其中处理单元中的每一个包括：第一运算器，第一运算器基于与第一图像的目标像素相对应的目标像素数据和第二图像中与所述目标像素的周边像素相对应的周边像素数据执行第一算术运算，第二运算器，第二运算器基于根据第一运算器的算术运算结果的第一中间数据执行第二算术运算，以及根据顺序地改变周边像素时的第一中间数据计算第二中间数据，第三运算器，第三运算器基于第一中间数据执行第三算术运算，以及根据顺序地改变周边像素时的第一中间数据计算第三中间数据，寄存器，寄存器保存顺序地改变周边像素时的第二中间数据，以及延迟元件，延迟单元延迟来自第三运算器的第三中间数据。2.根据权利要求1所述的图像处理装置，其中所述多个流水线包括第一流水线和第二流水线，其中由第一流水线中的处理单元中设置的延迟元件延迟的第三中间数据被输入到第二流水线中包括的处理单元的第三运算器中，以及其中第三运算器基于来自第一运算器的第一中间数据和来自延迟元件的第三中间数据执行第三算术运算。3.根据权利要求2所述的图像处理装置，其中第三运算器对目标像素和沿着传播方向从目标像素移位的基准像素执行第三算术运算，以及其中第二流水线的处理单元的目标像素沿着与传播方向相反的方向从第一流水线的处理单元的目标像素移位。4.根据权利要求1所述的图像处理装置，其中处理单元通过对目标像素数据执行算术运算来计算多个选择候选，以及将从选择候选中选择的一个选择候选定义为输出像素数据。5.根据权利要求1所述的图像处理装置，其中行存储器包括容量彼此不同的多个行。6.根据权利要求1所述的图像处理装置，其中寄存器将所保存的第二中间数据输入到第二运算器中，以及其中第二运算器基于第一中间数据和第二中间数据执行第二算术运算。7.根据权利要求1所述的图像处理装置，还包括：延迟调整控制电路，延迟调整控制电路调整延迟元件的延迟量。8.根据权利要求1所述的图像处理装置，其中第一图像和第二图像是由立体相机捕获的立体图像。9.根据权利要求1所述的图像处理装置，其中由一个相机在不同定时捕获的两个图像是第一图像和第二图像。10.一种车辆控制装置，包括：根据权利要...

【专利技术属性】
技术研发人员：寺岛和昭，梶原裕辉，
申请(专利权)人：瑞萨电子株式会社，
类型：发明
国别省市：日本,JP