图像处理设备、图像处理方法、程序和摄像系统技术方案

在本发明专利技术中，从其他设备获得第二拍摄图像，使生成的第一拍摄图像和获得的第二拍摄图像位置对准。响应第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于第一拍摄图像和第二拍摄图像至少之一的模糊校正的控制。例如，当第一拍摄图像和第二拍摄图像之间的交叠量等于或小于模糊校正限制阈值时，停止模糊校正，或者对于第一和第二拍摄图像至少之一，限制校正范围。当交叠量大于模糊校正控制阈值时，不限制地进行对于第一和第二拍摄图像的模糊控制。通过利用对其限制模糊校正的第一拍摄图像(第二拍摄图像)，或者对其均无限制地进行模糊校正的第一和第二拍摄图像，使两个拍摄图像位置对准，从而生成全景图像。

Image processing apparatus, image processing method, program and camera system

In the invention, second photographing images are obtained from other devices, so that the generated first photographing images and the second captured image positions are aligned. In response to the position relationship between the first photographed image and the second photographed image, the control of the fuzzy correction for at least one of the first photographed images and the second photographed images is carried out. For example, when the overlapping amount between the first photographed image and the second photographed image is equal to or less than the fuzzy correction threshold threshold, the fuzzy correction is stopped, or at least one of the first and second images is limited. When the overlap is greater than the fuzzy correction threshold, fuzzy control for the first and second shooting images is not restricted. By using the first photographed image (second photographing images) to restrict the fuzzy correction, or the first and second photographed images of which all of them are unrestricted, the two photographed images are aligned, thus generating a panoramic image.

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备、图像处理方法、程序和摄像系统
本技术涉及图像处理设备，图像处理方法，程序和摄像系统，并使得能够容易地生成全景图像。
技术介绍
迄今为止，在具有多个摄像部分的摄像设备中，例如，在PTL1的摄像设备中，以多个摄像部分中的稳像(imagestabilization)之前的初始光轴中心作为基准，按共同的分割大小，从多个图像中分割出输出用图像。另外，利用其中在稳像之前和之后保持光轴中心位置的输出用图像，可获得双目视觉。[引文列表][专利文献][PTL1]WO2011/114572
技术实现思路
[技术问题]顺便提及，当在多个摄像部分中生成图像之时，不限于双目视觉，例如，通过相互连接多个图像，可以生成具有宽视角的全景图像。然而，当意图以初始光轴中心作为基准，相互连接按共同的分割大小，从多个图像中分割出的输出用图像时，必须以防止初始光轴中心在垂直方向上分散的方式，在水平方向高精度地精确设置多台摄像设备。因此，不易生成全景图像。因而，本技术的一个目的是提供均能够容易地生成在全景图像的生成中使用的图像的图像处理设备、图像处理方法、程序和摄像设备。[解决技术问题的技术方案]本技术的第一方面在于一种图像处理设备，包括控制部分，所述控制部分被配置成响应在全景图像的生成中使用的第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像至少之一的稳像的控制。利用这种技术，当合成第一拍摄图像和与第一拍摄图像对准的第二拍摄图像，以生成全景图像时，响应第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于在合成中使用的第一拍摄图像和第二拍摄图像至少之一的稳像的控制，例如，响应位置关系，控制稳像。在稳像的限制中，进行稳像的开/关操作，和其中在用于生成待合成图像的图像传感器的有效像素区域内设置的图像生成区域随着交叠量变小而被增大，作为有效像素区域和图像生成区域之差的剩余区域被减小，以限制稳像的操作。另外，在关于稳像的控制中，以给用户的图像或声音的形式，进行关于稳像的开/关和限制的通知。另外，当交叠量等于或小于处理顺序设定阈值时，控制部分在进行第一拍摄图像和第二拍摄图像之间的位置对准之后，进行稳像。当交叠量大于处理顺序设定阈值时，控制部分在进行稳像之后，进行第一拍摄图像和第二拍摄图像之间的位置对准。全景图像生成部分合成在稳像和位置对准之后的第一拍摄图像和第二拍摄图像中的图像生成区域的图像。此外，响应生成第一拍摄图像的摄像部分，和生成第二拍摄图像的摄像部分之间的位置关系的变化程度，控制部分进行第一拍摄图像和第二拍摄图像之间的位置对准。从而，控制部分在所述变化程度变大之时，缩短观察时段或观察间隔，而在所述变化程度变小之时，延长观察时段或者观察间隔。另外，响应用于生成第一拍摄图像的第一摄像部分和用于生成第二拍摄图像的第二摄像部分的安装状态的检测结果，控制部分控制位置对准的频度。另外，全景图像生成部分通过调整第一拍摄图像的图像生成区域和第二拍摄图像的图像生成区域之间的画质差，进行合成。另外，全景图像生成部分合成其中透镜畸变被校正的第一拍摄图像的图像生成区域，和其中透镜畸变被校正的第二拍摄图像的图像生成区域。此外，全景图像生成部分进行第一拍摄图像和第二拍摄图像之间的视角均衡，并合成视角均衡之后的第一拍摄图像和第二拍摄图像。本技术的第二方面在于一种图像处理方法，包括在控制部分中，响应在全景图像的生成中使用的第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像至少之一的稳像的控制。本技术的第三方面在于一种程序，所述程序使计算机执行用于响应在全景图像的生成中使用的第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像至少之一的稳像的控制的过程。顺便提及，本技术的程序是可利用存储介质、通信介质，例如，诸如光盘、磁盘或半导体存储器之类的存储介质，或者诸如网络之类的通信介质，为能够执行各种程序代码的通用计算机提供的程序。这种情况下，存储介质以计算机可读形式，提供程序。这样的程序是以计算机可读形式提供的，从而在计算机上实现对应于所述程序的处理。本技术的第四方面在于一种摄像系统，包括：第一摄像部分，所述第一摄像部分被配置成生成在全景图像的生成中使用的第一拍摄图像；第二摄像部分，所述第二摄像部分被配置成生成在全景图像的生成中使用的第二拍摄图像；和控制部分，所述控制部分被配置成响应第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像至少之一的稳像的控制。[专利技术的有益效果]按照本技术，响应在全景图像的生成中使用的第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像至少之一的稳像的控制。因此，利用响应第一拍摄图像和第二拍摄图像之间的位置关系，关于稳像的控制，在第一拍摄图像和第二拍摄图像中，能够确保其中相同被摄物体的拍摄图像相互交叠的区域。从而，能够容易地生成在全景图像的生成中使用的图像。应注意记载在本说明书中的效果仅仅是例示，决不是有限的，也可提供另外的效果。附图说明图1是描述摄像系统的构成的方框图。图2是例示摄像设备的构成的方框图。图3是例示信息处理设备的构成的方框图。图4是说明第一实施例的视图。图5是说明拍摄图像的交叠和稳像的视图。图6是说明位置调整向量的视图。图7是说明响应交叠量，限制稳像量的情况的示图。图8是说明第一实施例的操作的流程图。图9是说明第一实施例的其他操作的流程图。图10是例示通过利用显示器，对用户进行通知的情况的示图。图11是说明在拍摄图像之间的交叠量较小的情况下的操作的视图。图12是说明在拍摄图像之间的交叠量较大的情况下的操作的视图。图13是说明第二实施例的操作的流程图。图14是例示在使用5台摄像设备的情况下的操作的视图。图15是说明响应位置关系的变化程度，控制空间方向的位置对准的频度的操作的视图。图16是说明时间方向的位置对准的视图。图17是说明关于未对其进行空间方向的位置对准的帧的时间方向的位置对准的视图。图18是例示在每帧地进行空间方向的位置对准的情况下的操作的视图。图19是例示在每隔多帧，进行空间方向的位置对准的情况下的操作的视图。图20是说明第三实施例的操作的流程图。图21是说明计算位置关系的变化程度的操作的视图。图22是说明第三实施例的其他操作的流程图。图23是说明抖动的大小与在全景图像的生成中使用的图像的画质之间的关系的视图。图24是说明第四实施例的操作的流程图。图25是说明在使用视角彼此不同的摄像设备的情况下的操作的流程图。图26是例示多台摄像设备被固定到支架(装配台)的情况的视图。具体实施方式下面说明实现本技术的方式。应注意将按照以下顺序进行说明。1.摄像系统的构成2.摄像设备和信息处理设备的构成2-1.摄像设备的构成2-2.信息处理设备的构成3.第一实施例3-1.第一实施例的操作3-2.第一实施例的其他操作4.第二实施例4-1.第二实施例的操作4-2.第二实施例的其他操作5.第三实施例5-1.第三实施例的操作5-2.第三实施例的其他操作6.第四实施例6-1.第四实施例的操作7.其他实施例<1.摄像系统的构成>图1描述利用本技术的图本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：控制部分，所述控制部分被配置成响应于在全景图像的生成中使用的第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像中的至少一个的稳像的控制。

【技术特征摘要】
【国外来华专利技术】2015.09.18 JP 2015-1846121.一种图像处理设备，包括：控制部分，所述控制部分被配置成响应于在全景图像的生成中使用的第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像中的至少一个的稳像的控制。2.按照权利要求1所述的图像处理设备，其中作为关于稳像的控制，所述控制部分响应于所述位置关系而限制稳像。3.按照权利要求2所述的图像处理设备，其中所述位置关系是交叠量。4.按照权利要求3所述的图像处理设备，其中当交叠量等于或小于稳像限制阈值时，所述控制部分限制稳像。5.按照权利要求3所述的图像处理设备，其中所述控制部分按照随着交叠量变小，加宽设置在图像传感器的有效像素区域内的图像生成区域的方式，限制稳像。6.按照权利要求2所述的图像处理设备，其中作为关于稳像的限制，所述控制部分停止稳像。7.按照权利要求2所述的图像处理设备，还包括：配置成进行对于用户的通知的通知处理部分，其中作为关于稳像的限制，所述控制部分通过通知处理部分进行关于稳像的设定的通知。8.按照权利要求1所述的图像处理设备，其中当交叠量等于或小于处理顺序设定阈值时，所述控制部分按照执行第一拍摄图像的图像生成区域和第二拍摄图像的图像生成区域之间的位置对准和执行稳像的顺序进行控制，而当交叠量大于处理顺序设定阈值时，所述控制部分按照执行稳像和执行所述位置对准的顺序进行控制。9.按照权利要求1所述的图像处理设备，其中响应于第一拍摄图像和第二拍摄图像之间的位置关系的变化程度，所述控制部分进行第一拍摄图像的图像生成区域和第二拍摄图像的图像生成区域之间的位置对准。10.按照权利要求9所述的图像处理设备，其中响应于所述变化程度，所述控制部分控制变化程度的观察时段或观察间隔。11.按照权利要求10所述的图像处理设备...

【专利技术属性】
技术研发人员：岛内和博，田原大资，池田伸穗，木村笃史，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP