图像处理装置、方法和系统以及计算机可读记录介质制造方法及图纸

一种检测多个输入图像之间的多个结合位置的图像处理装置，包括：目标图像生成单元，被配置为从输入图像中的第一输入图像生成要在输入图像中的第二输入图像中搜索的多个目标图像；特征量计算单元，被配置为对于由目标图像生成单元生成的目标图像的每一个计算特征量；以及结合位置确定单元，被配置为依赖于特征量，对于具有由特征量计算单元计算的特征量的目标图像中的感兴趣的目标图像确定结合位置。

【技术实现步骤摘要】
图像处理装置、方法和系统以及计算机可读记录介质本申请是申请日为2014年8月25日、申请号为201480056600.8(国际申请号为PCT/JP2014/072850)、专利技术名称为“图像处理装置、图像处理方法和成像系统”的专利技术专利申请的分案申请。
这里的公开一般涉及图像处理装置、图像处理方法和图像处理系统以及计算机可读记录介质，更具体地，涉及拼接(piece)多个输入图像到一起的图像处理装置、图像处理方法和成像系统。
技术介绍
已知全天球成像系统，其使用诸如鱼眼透镜或超广角透镜的多个广角透镜以一次采集全方位(以下称为“全天球”)图像。全天球成像系统通过将来自透镜的图像投影到传感器表面上并且通过图像处理将图像拼接到一起来生成全天球图像。可以通过使用例如两个具有大于180°的场角的广角透镜来生成这样的全天球图像。在图像处理中，基于预定投影模型并考虑从理想模型的失真，对通过透镜光学系统采集的部分图像施加失真校正和投影变换。然后，使用部分图像中包含的重叠部分将部分图像拼接到一起，以生成单个的全天球图像。在将图像拼接到一起的处理中，通过在部分图像的重叠部分中使用模式匹配，检测重叠对象的结合位置。然而，对于使用模式匹配的传统的结合位置检测技术，如果要匹配的区域是平坦图像或具有重复相同模式的很少的特征，则难以检测适当的结合位置。因此，不能有利地将部分图像拼接到一起，这可能降低所获得的全天球图像的质量。已知各种技术来将使用多个相机所采集的多个部分图像拼接到一起。例如，日本特开专利公报No.2001-148779(专利文献1)公开了一种图像处理装置，其目的在于通过避免当执行模式匹配时使用不适当匹配区域而造成的模式匹配的错误，以高精度合成图像。专利文献1中的传统技术配置为确定通过匹配区域提取单元提取的匹配区域是否适当，并且如果匹配区域不适当，则再次执行提取。其还配置为确定通过模式匹配单元的匹配结果是否适当，并且如果匹配结果不适当，则再次执行匹配区域的提取。为了改进图像合成的精度，专利文献1中的传统技术在执行模式匹配之前预先移除了不适于作为匹配区域的区域，例如，全白像素或全黑像素的区域，或包括在垂直方向、横向方向或倾斜方向上的连线的区域。然而，专利文献1中的传统技术是在匹配区域不适当的情况下再次执行匹配区域的提取的技术。因此，对于被确定为不适当的匹配区域，仍然难以确定适当结合位置。[现有技术文献][专利文献][专利文献1]日本特开专利公报No.2001-148779
技术实现思路
[专利技术要解决的问题]有鉴于传统技术的上述不令人满意之处做出了本专利技术，并且本专利技术的目的在于提供一种图像处理装置、图像处理方法和图像处理系统以及计算机可读记录介质，其当检测多个输入图像之间的结合位置时能够检测适当的结合位置。[解决问题的手段]根据本专利技术的至少一个实施例，一种检测多个输入图像之间的多个结合位置的图像处理装置，包括：目标图像生成单元，被配置为从输入图像中的第一输入图像生成要在输入图像中的第二输入图像中搜索的多个目标图像；特征量计算单元，被配置为对于由目标图像生成单元生成的目标图像的每一个计算特征量；以及结合位置确定单元，被配置为依赖于特征量，对于具有由特征量计算单元计算的特征量的目标图像中的感兴趣的目标图像确定结合位置。[专利技术的优点]根据本专利技术的至少一个实施例，当检测多个输入图像之间的结合位置时可以检测适当的结合位置。附图说明图1是根据本专利技术第一实施例的全天球成像系统的截面图；图2是根据第一实施例的全天球成像系统的硬件配置图；图3是根据第一实施例的全天球成像系统中的整体图像处理的流程；图4是根据第一实施例的全天球成像系统中实现的全天球图像合成处理中的主要块的功能框图；图5是根据第一实施例的全天球成像系统执行的全天球图像合成处理整体的流程图；图6(A)和(B)是图示使用鱼眼透镜的全天球成像系统中的投影关系的图；图7(A)和(B)是图示第一实施例中使用的全天球图像格式的图像数据的数据结构的图；图8(A)和(B)是图示由用于位置检测的失真校正单元和用于图像合成的失真校正单元所参考的转换数据的图；图9是图示在位置检测处理期间将两个部分图像映射到球面坐标系上的图，其中所述图像通过两个鱼眼透镜采集；图10是根据第一实施例的结合位置检测单元的功能框图；图11(A)至(D)是根据具体实施例的模板特征量计算单元的框图；图12是根据第一实施例的由全天球成像系统执行的结合位置检测处理的流程图；图13是图示根据第一实施例的模板生成单元的模板图像的生成方法的图；图14(A)至(C)包括图示(A)根据第一实施例的模板图像的排序、以及(B，C)根据第一实施例的基于由临时位置计算单元执行的排序的模板图像的临时位置的计算方法的图；图15(A)至(C)包括图示根据第一实施例的由搜索范围设置单元执行的搜索范围的设置方法的图；图16(A)和(B)包括图示(A)模板图像、以及(B)通过模式匹配在搜索范围中搜索模板图像的处理的图；图17(A)至(C)包括图示(A)偏移函数的曲线；以及(B，C)用搜索位置描点的校正之前的分数和校正之后的分数、以及基于校正前的分数的匹配位置和基于校正后的分数的匹配位置的曲线图的图；图18是图示根据第一实施例的由结合位置检测单元生成的检测结果数据的数据结构的图；图19(A)和(B)是图示根据第一实施例的由结合位置检测单元生成检测结果数据的处理的图；图20是根据第一实施例的由全天球成像系统执行的用于图像合成的转换表的生成处理的流程图；图21是图示在图像合成处理期间将两个部分图像映射到球面坐标系上的图，其中所述图像通过两个鱼眼透镜采集；图22是根据第二实施例的全天球成像系统的概略图；图23是根据第二实施例的由全天球成像系统执行的全天球图像合成处理的整体的流程图；以及图24(A)和(B)包括图示(A)匹配计算处理；以及(B)由根据第一实施例的全天球成像系统执行的分数校正处理的图。具体实施方式下面，将参照附图描述本专利技术第一实施例。注意，本专利技术实施例不限于下面描述的本实施例。作为图像处理装置和成像系统的示例，将使用全天球成像系统10描述本实施例，所述全天球成像系统10包括其光学系统具有两个鱼眼透镜的成像单元、以及用于通过对由鱼眼透镜采集的两个部分图像施加失真校正和投影变换并将图像拼接在一起而生成全天球图像的图像处理功能。[整体配置]下面，将参照图1-3描述根据本实施例的全天球成像系统10的整体配置。图1是根据本实施例的全天球成像系统(以下，简称为“成像系统”)10的截面图。图1所示的成像系统10包括成像单元12、用于保持诸如成像单元12的部件的外壳14、控制器、电源和布置在外壳14上的快门按钮18。图1所示的成像单元12包括两个成像形成光学系统20A和20B、以及两个固态图像传感器件22A和22B，诸如CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器。一个成像形成光学系统20和一个固态图像传感器件22的组合称为成像光学系统。成像形成光学系统20的每个可以用例如六组七透镜鱼眼透镜构成。在图1所示的示例中，鱼眼透镜具有大于180°的全场角(＝360°/n，其中n＝2)，优选地，大于185°的场角，或甚至优选地大于190°的场角。成像形成本文档来自技高网...

【技术保护点】
1.一种检测多个输入图像之间的多个结合位置的图像处理装置，包括：目标图像生成单元，被配置为从输入图像中的第一输入图像生成要在输入图像中的第二输入图像中搜索的多个目标图像；特征量计算单元，被配置为对于由目标图像生成单元生成的目标图像的每一个计算特征量；以及结合位置确定单元，被配置为依赖于特征量，对于具有由特征量计算单元计算的特征量的目标图像中的感兴趣的目标图像确定结合位置。

【技术特征摘要】
2013.08.28 JP 2013-177176;2013.08.28 JP 2013-177191.一种检测多个输入图像之间的多个结合位置的图像处理装置，包括：目标图像生成单元，被配置为从输入图像中的第一输入图像生成要在输入图像中的第二输入图像中搜索的多个目标图像；特征量计算单元，被配置为对于由目标图像生成单元生成的目标图像的每一个计算特征量；以及结合位置确定单元，被配置为依赖于特征量，对于具有由特征量计算单元计算的特征量的目标图像中的感兴趣的目标图像确定结合位置。2.如权利要求1所述的图像处理装置，其中结合位置确定单元依赖于具有大于感兴趣的目标图像的特征量的特征量的外围目标图像的结合位置，对于具有由特征量计算单元计算的特征量的目标图像中的感兴趣的目标图像，确定与第二输入图像的结合位置。3.如权利要求1所述的图像处理装置，还包括：临时位置计算单元，被配置为基于感兴趣的目标图像和一个或多个外围目标图像之间的特征量的相对关系，对于感兴趣的目标图像计算临时位置；以及匹配计算单元，被配置为基于由临时位置计算单元对感兴趣的目标图像计算的临时位置，计算感兴趣的目标图像与第二输入图像的部分之间的匹配。4.如权利要求3所述的图像处理装置，还包括：处理排序单元，被配置为基于特征量确定用于处理目标图像的顺序，所述顺序指定特征量的相对关系；其中，临时位置计算单元通过使用具有所确定的结合位置和大于感兴趣的目标图像的特征量的特征量的一个外围目标图像的结合位置、以及具有未确定的结合位置和小于感兴趣的目标图像的特征量的特征量的另一外围目标图像的初始结合位置，对于感兴趣的目标图像计算临时位置。5.如权利要求3或4所述的图像处理装置，其中，临时位置计算单元通过执行依赖于相对于感兴趣的目标图像的特征量的相对关系对一个或多个外围目标图像给出权重、以及依赖于距感兴趣的目标图像的距离对一个或多个外围目标图像给出权重这两者中的一个或两者，对于感兴趣的目标图像计算临时位置。6.如权利要求3至5的任一所述的图像处理装置，还包括：评估值校正单元，被配置为基于由匹配计算单元计算的相似度校正评估值，使得评估值围绕临时位置为中心取较大值。7.如权利要求3至6的任一所述的图像处理装置，还包括：搜索范围设置单元，用于基于感兴趣的目标图像与所述一个或多个外围目标图像之间的特征量的相对关系，在第二输入图像中设置搜索范围用于匹配。8.如权利要求2至7的任一所述的图像处理装置，其中，所述特征量是目标图像的边缘量、离差和标准差中的至少一个。9.如权利要求1所述的图像处理装置，还包括：匹配计算单元，被配置为使用依赖于由特征量计算单元计算的特征量的评估方法，计算具有由特征量计算单元计算的特征量的目标图像中的感兴趣的目标图像与第二输入图像的部分之间的匹配。10.如权利要求9所述的图像处理装置，还包括：评估值校正单元，被配置为使用依赖于由匹配计算单元使用的评估方法的校正方法，校正在由匹配计算单元计算的每个位置处的评估值。11.如权利要求10所述的图像处理装置，还包括：临时位置计算单元，被配置为基于感兴趣的目标图像与一个或多个外围目标图像之间的特征量的相对关系，对于感兴趣的目标图像计算临时位置；其中，评估值校正单元基于由匹配计算单元计算的相似度校正评估值，使得评估值...

【专利技术属性】
技术研发人员：竹中博一，吉田和弘，河口启一，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP