图像处理装置、图像处理方法及计算机可读介质制造方法及图纸

本公开涉及图像处理装置、图像处理方法及计算机可读介质。为了创建具有较高现实感和沉浸感的全景图像而无需对用户强加过多的负担，本发明专利技术执行：位置对齐判定处理，判定确保捕获的被摄体的一致性的位置对齐在全景捕获图像数据与不是全景捕获图像数据的其它捕获图像数据之间是否可能；及图像连接处理，连接全景捕获图像数据与相对于全景捕获图像数据的位置对齐被判定为可能的其它捕获图像数据。当通过整合诸如视频或高分辨率图像的不是全景捕获图像的其它捕获图像来创建具有增强的现实感和沉浸感的全景图像时，用户只需从基本相同的拍摄位置拍摄全景图像和其它图像，而无需给用户强加过多负担，就可以实现具有更高现实感和沉浸感的全景图像。

Image processing device, image processing method and computer readable medium

【技术实现步骤摘要】
图像处理装置、图像处理方法及计算机可读介质本分案申请是2014年3月13日递交的题为“图像处理装置、图像处理方法及程序”的中国专利申请NO.201480023065.6的分案申请。
本技术涉及为捕获的全景图像数据执行图像处理的图像处理装置、图像处理方法、以及用于图像处理的程序。引用列表专利文献专利文献1：JP2010-161520A专利文献2：JP2011-519192T
技术介绍
例如，如在专利文献1中所描述的，从多个捕获图像生成单个全景图像的这种全景合成技术是已知的。取决于包括图像拍摄技术(诸如水平扫描图像拍摄、水平和垂直自由摆动图像拍摄、以及多行图像拍摄)、光学系统(诸如广角镜头和鱼眼镜头)和合成算法的每个要素，各种全景合成技术都是可能的，并且使得可以拍摄包含环绕用户(摄影者)的360度场景的全周全景图像和甚至包括在用户(摄影者)正上方或正下方的场景的全向全景图像。这种全景图像通常被记录为投影到圆柱面、球面等的图像，并且可以在相机的再现模式中或者被个人计算机(PC)中的图像浏览器等再现。投影到圆柱面或球面的全景图像可以进一步再投影和显式在虚拟平面屏幕上，从而向用户提供强烈的临场感和沉浸感(例如，QuickTimeVR？AnImage-BasedApproachtoVirtualEnvironmentNavigation[AppleComputer,Inc.])。由于这些全景合成技术在性质上合成从不同位置拍摄的多个图像，因此难以生成全景运动图像。作为创建全景运动图像的技术，利用特殊光学系统的技术(诸如能够在单次曝光拍摄全周的图像的二次曲线镜)已获得广泛的使用。但是，该技术放大了在图像传感器上形成的全周图像来创建全景图像，不幸地显著降低了分辨率。使多个相机同时捕获图像以及使用诸如多眼相机的专用相机装置的这些技术也是已知的，但是对于一般的用户，很难随意使用这些技术。此外，当然存在用遥摄倾斜器(pantilter)和长焦镜头等自动拍摄图像来生成具有一些具有十亿像素(gigapixel)的超高分辨率全景图像的技术，但是需要有特殊装置(遥摄倾斜器)并且花很长的时间来拍摄图像并合成所拍摄的图像。而且，所生成的全景图像具有庞大的数据大小，使得对于一般的用户，也不容易随意使用该技术。运动图像和高分辨率是使全景图像提供加强的临场感和沉浸感的重要要素，但是如上所述，对于一般用户，在这些情况下难以结合那些要素。此外，专利文献2公开了接合各个具有相似位置数据的记录数据来向用户呈现全景场景的技术。
技术实现思路
技术问题如果装置能自动地将运动图像和高分辨率图像粘贴和整合为全景图像，则可以生成向用户提供较强临场感和沉浸感的全景图像而无需给用户强加太重的负担。不幸的是，在这些情况下，还没有设计出具体的技术。本技术的一个目的是生成向用户提供较强临场感和沉浸感的全景图像而无需给用户强加太重的负担。问题的解决方案首先，根据本技术的一种图像处理装置包括：对齐判定处理部分，配置为判定除捕获的全景图像数据之外的其它捕获图像数据是否能够以捕获的被摄体在捕获的全景图像数据和其它捕获图像数据之间保持一致的方式与捕获的全景图像数据对齐；图像连接处理部分，其配置为将由对齐判定处理部分判定为能够与捕获的全景图像数据对齐的其它捕获图像数据连接到捕获的全景图像数据。根据上述配置，可以将被判定为能够与捕获的全景图像数据对齐的捕获图像数据连接到捕获的全景图像数据。第二，在根据本技术的图像处理装置中，期望其它捕获图像数据包括运动图像数据和静止图像数据中的任何一种，其中，所述静止图像数据用作与用于捕获所述捕获的全景图像数据的全景图像的设定视角相比在长焦端的视角处捕获的高分辨率图像数据。运动图像或高分辨率图像对于整合到捕获的全景图像中以增强临场感和沉浸感是优选的。第三，在根据本技术的图像处理装置中，期望对齐判定处理部分根据其它捕获图像数据的图像类型改变判定方法。这允许根据图像类型使用合适的对齐判定方法。第四，在根据本技术的图像处理装置中，期望其它捕获图像数据包括运动图像数据和静止图像数据两者，并且对齐判定处理部分用比静止图像数据的判定标准低的判定标准判定运动图像数据。按照特性，运动图像数据可以包括相对大量的未能对齐的帧图像，使得由此判定是用低判定标准做出的。第五，在根据本技术的图像处理装置中，期望当连续地判定预定数量或更多的帧图像数据不能对齐时，或者当判定为不能对齐的帧图像数据的数量与帧的总数量之比大于或等于预定值时，对齐判定处理部分判定整个的运动图像数据不能与捕获的全景图像数据对齐。因此，对齐判定是基于不能对齐的连续帧图像的数量以及与帧的总数量的比利用合适的判定标准对运动图像做出的。第六，在根据本技术的图像处理装置中，期望其它捕获图像数据包括多变焦图像数据，所述多变焦图像数据包括与用于捕获所述捕获的全景图像数据的全景图像的设定视角相比在长焦端的多个视角处分别捕获的静止图像数据，当其它捕获图像数据是多变焦图像数据时，对齐判定处理部分判定在多变焦图像数据中所包括的每个静止图像数据是否能够与捕获的全景图像数据对齐，并且连接处理部分不将由对齐判定处理部分判定为不能与捕获的全景图像数据对齐的静止图像数据连接到捕获的全景图像数据。多变焦图像要求相对较高的对齐精度，因为用户专注于享受高分辨率图像。第七，在根据本技术的图像处理装置中，期望对齐判定处理部分判定在多变焦图像数据中所包括的每个静止图像数据的是否能够与捕获的全景图像数据对齐，并且在存在结果被判定为不能与捕获的全景图像数据对齐的静止图像数据的情况下，判定整个多变焦图像数据不能与捕获的全景图像数据对齐。因此，除非判定在多变焦图像数据中所包括的所有静止图像数据都能够对齐，否则，即使存在能够对齐的静止图像数据，也没有静止图像数据被连接到捕获的全景图像数据。第八，在根据本技术的图像处理装置中，期望对齐判定处理部分基于通过执行检测两个目标图像中的特征点和对应点、基于检测到的对应点的坐标检测局部和全局运动、以及用鲁棒估计方法检测两个图像之间的最佳位置关系的图像配准处理所获得的结果判定两个目标图像是否能够彼此对齐。因此，对齐处理被执行作为对齐判定处理中的图像配准处理。第九，在根据本技术的图像处理装置中，期望对齐判定处理部分判定检测到的特征点的数量小于预定值的捕获图像数据是不能对齐的。检测到的特征点的数量小于预定值意味着缺乏特征的均匀图像。第十，期望判定检测到的对应点的数量小于预定值的捕获图像数据在根据本技术的图像处理装置中是不能对齐的。检测到的对应点的数量小于预定值意味着可被认为在两个图像之间相同的特征点少。第十一，在根据本技术的图像处理装置中，期望对齐判定处理部分在图像配准处理中执行RANSAC的鲁棒估计处理，并判定在鲁棒估计处理的过程中所获得检测到的内点的数量本文档来自技高网...

【技术保护点】
1.一种图像处理装置，包括：/n对齐判定处理部分，配置为访问捕获的全景图像数据和不同于捕获的全景图像数据的其它捕获图像数据，并判定其它捕获图像数据是否能够以捕获的被摄体在所述捕获的全景图像数据与所述其它捕获图像数据之间保持一致的方式与所述捕获的全景图像数据对齐；及/n图像连接处理部分，配置为将由所述对齐判定处理部分判定为能够与所述捕获的全景图像数据对齐的所述其它捕获图像数据连接到所述捕获的全景图像数据，/n其中当其它捕获图像数据和捕获的全景图像数据中的检测到的特征点的数量小于预定值时，所述对齐判定处理部分判定所述其它捕获图像数据不能与捕获的全景图像数据对齐。/n

【技术特征摘要】
20130430 JP 2013-0954311.一种图像处理装置，包括：
对齐判定处理部分，配置为访问捕获的全景图像数据和不同于捕获的全景图像数据的其它捕获图像数据，并判定其它捕获图像数据是否能够以捕获的被摄体在所述捕获的全景图像数据与所述其它捕获图像数据之间保持一致的方式与所述捕获的全景图像数据对齐；及
图像连接处理部分，配置为将由所述对齐判定处理部分判定为能够与所述捕获的全景图像数据对齐的所述其它捕获图像数据连接到所述捕获的全景图像数据，
其中当其它捕获图像数据和捕获的全景图像数据中的检测到的特征点的数量小于预定值时，所述对齐判定处理部分判定所述其它捕获图像数据不能与捕获的全景图像数据对齐。


2.如权利要求1所述的图像处理装置，其中所述其它捕获图像数据包括至少一个静止图像数据，具有高于捕获的全景图像数据的分辨率。


3.如权利要求1所述的图像处理装置，其中所述其它捕获图像数据包括至少一个运动图像数据。


4.如权利要求1所述的图像处理装置，其中图像连接处理部分被配置为在捕获的全景图像数据和其它捕获图像数据之间生成指示连接信息的元数据。


5.如权利要求4所述的图像处理装置，其中图像连接处理部分被配置为将生成的元数据添加到其它捕获图像数据。


6.一种图像处理方法，包括：
访问捕获的全景图像数据和不同于捕获的全景图像数据的其它捕获图像数据，并判定其它捕获图像数据是否能够以捕获的被摄体在所述捕获的全景图像数据与...

【专利技术属性】
技术研发人员：木村笃史，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP