图像生成装置和图像生成方法制造方法及图纸

分量图像生成单元(20)生成分量图像，其中，关于移动设备的姿势的信息与使用内置于该移动设备的前部相机和后部相机捕获的图像相关联。全景图像生成单元(30)通过合成多个分量图像来生成合成图像，在该多个分量图像中移动设备的姿势是彼此不同的。图像模式切换单元(94)在双侧合成图像成像模式和单侧合成图像成像模式之间切换，在双侧合成图像成像模式中，通过连接借助于前部相机捕获的半周合成图像和借助于后部相机捕获的半周合成图像来成像整周的合成图像；在单侧合成图像成像模式中借助于前部相机和后部相机成像整周的合成图像。

【技术实现步骤摘要】
【国外来华专利技术】图像生成装置和图像生成方法
本专利技术涉及一种图像生成装置和方法。具体地，本专利技术涉及一种用于生成合成图像的装置和方法。
技术介绍
数码静止相机和数码视频摄像机广泛流行，并且拾取的静止画面或运动画面被存储到计算机中、并被读取或处理或显示在游戏机或电视(TV)系统的屏幕上的机会正在增加。此外，还流行将拾取的运动画面上传到互联网的发帖网站，以及将该运动画面分享给不同的相机用户。有些数码相机能够拾取全景图像，并且容易地拾取具有宽视角的全景图像已成为可能。还经常利用一种软件工具，用于通过将由数码相机拾取的、图像拾取方向连续变化的多个图像粘贴在一起来生成全景图像。此外，诸如具有相机的便携电话机的便携设备是可得的，其中，提供了全景图像拾取模式或用于合成全景图像的应用，并且当便携设备的倾斜连续变化时，可以拾取多个图像并将该多个图像自动合成为全景图像。【引用列表】【专利文献】【专利文献1】JP2011-76249A
技术实现思路
【技术问题】如果使用包括前侧相机和后侧相机的便携设备中的双侧相机实现全景图像拾取，则便携设备的相机操作者被无意地反映在前侧相机中或者由于前侧相机和后侧相机之间的布置的偏移而在全景图像中出现视差。因此，存在一个问题，即，使用双侧相机的全景图像拾取不能总是实现为用户所想要的那样。鉴于上述问题而作出本专利技术，并且本专利技术的一个目的是提供一种能够使用双侧相机容易地生成合成图像的技术。【问题的解决方案】为了解决上述问题，本专利技术的一个模式的图像生成装置包括：分量图像生成单元，被配置为生成分量图像，其中便携设备的姿势信息与使用多个相机拾取的图像相关联，所述多个相机内置于所述便携设备中并且具有在位置和方位中的至少一个上不同于彼此的光轴；合成图像生成单元，被配置为组合其中所述便携设备的姿势不同的多个分量图像以生成合成图像；以及图像拾取模式切换单元，被配置为在复眼合成图像拾取模式和单眼合成图像拾取模式之间切换图像拾取模式，在所述复眼合成图像拾取模式中拾取通过将由所述多个相机拾取的合成图像彼此连接而形成的复眼合成图像，在所述单眼合成图像拾取模式中使用所述多个相机中的每一个拾取单眼合成图像。当所述图像拾取模式是所述复眼合成图像拾取模式时，所述合成图像生成单元组合由所述相机中的每一个拾取的多个分量图像以生成单眼合成图像，并将所述相机的单眼合成图像彼此连接以生成复眼合成图像。本专利技术的另一模式是一种图像生成方法。该方法包括：分量图像生成步骤，生成分量图像，其中，便携设备的姿势信息与使用多个相机拾取的图像相关联，所述多个相机内置于所述便携设备中并且具有在位置和方位中的至少一个上不同于彼此的光轴；合成图像生成步骤，组合其中所述便携设备的姿势不同的多个分量图像以生成合成图像；以及图像拾取模式切换步骤，在复眼合成图像拾取模式和单眼合成图像拾取模式之间切换图像拾取模式，在所述复眼合成图像拾取模式中拾取通过将由所述多个相机拾取的合成图像彼此连接而形成的复眼合成图像，在所述单眼合成图像拾取模式中使用所述多个相机中的每一个拾取单眼合成图像。当所述图像拾取模式是所述复眼合成图像拾取模式时，所述合成图像生成步骤组合由所述相机中的每一个拾取的多个分量图像以生成单眼合成图像，并将所述相机的单眼合成图像彼此连接以生成复眼合成图像。还应注意，上述组件的任意结合以及在方法、装置、系统、计算机程序、数据结构、记录介质等之间变换的本专利技术的各种表示可有效地作为本专利技术的模式。【本专利技术的有益效果】利用本专利技术，可以容易地使用双侧相机生成合成图像。附图说明【图1】图1(a)和1(b)是用于全景图像拾取的便携终端的外观图。【图2】图2是示出便携终端的倾斜的视图。【图3】图3(a)和3(b)是示出便携终端的方位(orientation)的视图。【图4】图4(a)至4(d)是示出当使用便携终端的后侧相机拾取全景图像时的图像拾取方向的视图。【图5】图5(a)和5(b)是示出相机的方位角θ和相机的仰角(elevationangle)φ的视图。【图6】图6(a)至6(c)是示出当便携终端的后侧相机的初始位置在方位角θ的方向时所拾取的全景图像的视图。【图7】图7(a)至7(c)是示出当后侧相机的仰角φ＝60度时所拾取的全景图像的视图。【图8A】图8A是示出将多个图像彼此连接以生成全景图像的方法的视图。【图8B】图8B是示出将多个图像彼此连接以生成全景图像的另一法的视图。【图9】图9是全景图像生成装置的功能框图。【图10】图10是示出全景图像的图像拾取过程的流程图。【图11】图11是示出图10的图像拾取时机判定处理的详细过程的流程图。【图12】图12(a)至12(c)是示出图像拾取导引(guide)部分的全景图像拾取导引的视图。【图13】图13(a)和13(b)是示出分量图像和全景图像的示例的视图。【图14】图14是示出图像拾取期间的全景图像的视图。【图15】图15是示出全景图像拾取的图像拾取顺序的导引的示例的视图。【图16】图16是透视(see-through)型头戴式显示器的示意图。【图17】图17(a)和17(b)是示出透视型HMD的显示屏幕图像的示例的视图。【图18】图18是根据不同实施例的全景图像生成装置的功能框图。【图19】图19是示出根据不同实施例的全景图像的图像拾取过程的流程图。【图20】图20是示出图19的自身位置估计处理的详细过程的流程图。【图21】图21(a)和21(b)是描绘在彼此相邻的两个分量图像之间检测到的控制点的视图。【图22】图22是示出其中基于控制点对准和合成两个相邻分量图像的方式的视图。【图23】图23是示出用于推动调整相机位置的偏移的导引的示例的视图。【图24】图24是根据另一不同实施例的全景图像生成装置的功能框图。【图25】图25是示出根据另一不同实施例的全景图像的图像拾取过程的流程图。【图26】图26(a)至26(c)是示出对其设置了关注区域的拾取的图像的格式的示例的视图。【图27】图27(a)至27(f)是示出由用户在触摸面板上设置关注区域的方法的视图。【图28】图28是示出设置到α平面或者专用于与全景图像重叠的层上的关注区域的视图。【图29】图29是根据又一不同实施例的全景图像生成装置的功能框图。【图30】图30(a)至30(c)是示出便携终端的前侧相机和后侧相机之间的布置和视差的视图。【图31】图31(a)是示出由后侧相机拾取的圆柱形图像的视图，图31b)是示出由前侧相机拾取的圆柱形图像的视图。【图32】图32(a)是示出由后侧相机拾取的后侧全景图像的视图，图32(b)是示出由前侧相机拾取的前侧全景图像的视图。【图33】图33是示出一种状态的视图，在该状态中，由后侧相机拾取的后侧全景图像和由前侧相机拾取的前侧全景图像彼此连接。【图34】图34是示出由前侧相机拾取的前侧全景图像和由后侧相机拾取的后侧全景图像的示例的视图。【图35】图35是示出当前侧全景图像和后侧全景图像之间的一致性很低时的导引的示例的视图。【图36】图36是示出根据再一不同实施例的全景图像的图像拾取过程的流程图。【图37】图37是示出图36的双侧相机的全景图像拾取处理的详细过程的流程图。【图38】图38是示出一种便携终端的视图，在该便携终端中，并入了具有在位置和方向上本文档来自技高网...

【技术保护点】
一种图像生成装置，包括：分量图像生成单元，被配置为生成分量图像，其中便携设备的姿势信息与使用多个相机拾取的图像相关联，所述多个相机内置于所述便携设备中并且具有在位置和方位中的至少一个上不同于彼此的光轴；合成图像生成单元，被配置为组合其中所述便携设备的姿势不同的多个分量图像以生成合成图像；以及图像拾取模式切换单元，被配置为在复眼合成图像拾取模式和单眼合成图像拾取模式之间切换图像拾取模式，在所述复眼合成图像拾取模式中拾取通过将由所述多个相机拾取的合成图像彼此连接而形成的复眼合成图像，在所述单眼合成图像拾取模式中使用所述多个相机中的每一个拾取单眼合成图像；当所述图像拾取模式是所述复眼合成图像拾取模式时，所述合成图像生成单元组合由所述相机中的每一个拾取的多个分量图像以生成单眼合成图像，并将所述相机的单眼合成图像彼此连接以生成复眼合成图像。

【技术特征摘要】
【国外来华专利技术】1.一种图像生成装置，包括：分量图像生成单元，被配置为生成分量图像，其中便携设备的姿势信息与使用多个相机拾取的图像相关联，所述多个相机内置于所述便携设备中并且具有在位置和方位中的至少一个上不同于彼此的光轴；合成图像生成单元，被配置为组合其中所述便携设备的姿势不同的、由相同相机获得的多个分量图像以生成合成图像；以及图像拾取模式切换单元，被配置为在复眼合成图像拾取模式和单眼合成图像拾取模式之间切换图像拾取模式，在所述复眼合成图像拾取模式中拾取通过将由所述多个相机拾取的合成图像彼此连接而形成的复眼合成图像，在所述单眼合成图像拾取模式中使用所述多个相机中的每一个拾取单眼合成图像；当所述图像拾取模式是所述复眼合成图像拾取模式时，所述合成图像生成单元组合由所述相机中的每一个拾取的多个分量图像以生成单眼合成图像，并将所述相机的单眼合成图像彼此连接以生成复眼合成图像。2.根据权利要求1所述的图像生成装置，其中，当所述图像拾取模式是所述单眼合成图像拾取模式时，所述合成图像生成单元组合通过每个所述相机拾取的多个分量图像以生成单眼合成图像，并将所述相机的单眼合成图像组合为立体合成图像并作为立体合成图像输出，或者组合为提供不同距离感的多个合成图像并作为这些合成图像输出。3.根据权利要求1或2所述的图像生成装置，进一步包括：图像相关性判定单元，被配置为判定在各相机的单眼合成图像彼此连接的边界区域中的、要彼此连接的单眼合成图像之间的相关性程度；当所述相关性程度等于或高于预定阈值时，所述合成图像生成单元将各相机的单眼合成图像彼此连接以生成复眼合成图像。4.根据权利要求1或2所述的图像生成装置，进一步包括：相机操作者检测部分，被配置为检测在前侧相机拾取的图像中对相机操作者的捕获；相机操作者图像拾取许可部分，被配置向用户为发出关于是否许可对相机操作者的捕获的询问；以及感兴趣区域设置部分，被配置为当许可对相机操作者的捕获时，基于某一相机拾取的相机操作者的面部表情的图像，对于由不同的相机拾取的图像设置感兴趣区域；所述分量图像生成单元生成分量图像，其中所述便携设备的姿势信息以及通过所述感兴趣区域设置部分设置的感兴趣区域信息与使用该不同的相机拾取的图像相关联。5.根据权利要求1所述的图像生成装置，其中内置于所述便携设备并且具有在位置和方位中的至少一个上不同于彼此的光轴的多个相机是设置在相机操作者侧上的前侧相机和设置在相机操作者的相对侧上的后侧相机；所述图像拾取模式切换单元在双侧合成图像拾取模式和单侧合成图像拾取模式之间切换图像拾取模式，在所述双侧合成图像拾取模式中，将通过所述前侧相机拾取的半周的合成图像和通过所述后侧相机拾取的半周的合成图像彼此连接以拾取整周的合成图像，在所述单侧合成图像拾取模式中，通过所述前侧相机和所述后侧相机中的每一个拾取整周的合成图像；并且当所述图像拾取模式是双侧合成图像拾取模式时，所述合成图像生成单元组合由所述前侧相机拾取的多个前侧分量图像以生成半周的前侧合成图像，组合由所述后侧相机拾取的多个后侧分...

【专利技术属性】
技术研发人员：平田真一，古村京子，山岸建，
申请(专利权)人：索尼电脑娱乐公司，
类型：发明
国别省市：日本;JP