信息处理装置、摄像系统以及记录介质制造方法及图纸

本发明专利技术涉及信息处理装置、摄像系统以及记录介质，其目的在于抑制平面图像重叠到广角图像中时发生画质下降。本发明专利技术的信息处理装置具有将广角图像的投影方式转换为第二投影方式来生成图像的第一投影方式转换部(556)、分别从平面图像以及图像提取多个特征点的提取部(550)、根据提取的平面图像的多个特征点和图像的多个特征点求出图像中与平面图像对应的第三对应区域的对应区域计算部(582)、将第三对应区域包含的多个点的投影方式转换为第一投影方式的第二投影方式转换部(562)、求出经过所述第二投影方式转换部转换的所述多个点在所述广角图像中的位置信息的位置计算部(562)。

【技术实现步骤摘要】
信息处理装置、摄像系统以及记录介质
本专利技术涉及信息处理装置、摄像系统以及记录介质。
技术介绍
在摄像装置拍摄的图像中，会产生被称为晕影(Vignitting)的画质下降区域。以往，用来减小这种晕影而开发的的技术方案，如有专利文献1(JP特开2006-041741号公报)公开的摄影装置，该摄影装置在摄像时，判断图像中的晕影状态，删除图像数据中出现晕影的区域。另一方面，近年开发的特殊数码相机能够用一次摄影获得天球图像的原始数据，即两个半球图像数据。该数码相机(以下称为天球相机)根据两个半球图像数据，制作拍摄360°全景的天球图像。在放大天球图像中的一部分区域时，如果在该一部分区域中插入了不同于天球图像的、通过其他摄影装置得到的平面图像，能够显示清晰的图像。然而，合成到天球图像上的平面图像存在以下问题，即该平面图像中会摄入用来拍摄天球图像的数码相机的阴影。对此以下详述。作为拍摄平面图像的数码相机，例如，通常希望使用能够轻松操作的智能手机。在这种情况下，需要天球相机拍摄天球图像与智能手机拍摄平面图像的摄影时间尽可能一致，并且，最理想的情况是在同一位置拍摄。在此，要求摄影时间相同的理由在于，如果摄影时间(时刻)不同，摄影场景本身会发生变动(变化)(摄像范围中并非只有静止物体，即便只有静止物体，亮度和阴影的状态也会发生变化)。而要求在同一位置拍摄的理由则在于，如果天球相机与智能手机之间产生视差，天球图像与平面图像的光轴便将产生变化，从而重叠显示时难以避免违和感。因此，虽然用户能够将天球相机的镜头尽可能地接近智能手机的镜头并同时摄影，但是过于接近反而会让天球相机的阴影进入智能手机的视角。这种现象被称为晕影。
技术实现思路
鉴于上述问题，本专利技术以抑制平面图像重叠到广角图像中时发生画质下降为目的，提供以下技术方案。具体为一种信息处理装置，具有取得部，用于取得以第一投影方式获得的广角图像、以及以不同于所述第一投影方式的第二投影方式获得的平面图像；第一投影方式转换部，用于将所述广角图像的投影方式转换为所述第二投影方式，生成图像；提取部，用于分别从所述平面图像以及所述图像提取多个特征点；对应区域计算部，用于根据所述提取部分别提取的所述平面图像的多个特征点和所述图像的多个特征点，求出所述图像中与所述平面图像对应的第三对应区域；第二投影方式转换部，用于将所述第三对应区域包含的多个点的投影方式转换为所述第一投影方式；位置计算部，用于求出经过所述第二投影方式转换部转换的所述多个点在所述广角图像中的位置信息；以及，存储部，其中保存在所述广角图像上重叠所述平面图像时使用的所述平面图像的区域指定信息，并保存与所述平面图像的多个点相对应的、根据所述区域指定信息进行重叠显示时使用的所述位置信息。本专利技术的效果在于能够抑制平面图像重叠到广角图像中时发生画质下降。附图说明图1是特殊摄影装置的外观图，其中，(a)是特殊摄影装置的左视图，(b)是特殊拍摄装置的后视图，图1(c)是特殊摄影装置的俯视图，(d)是特殊摄影装置的仰视图。图2是使用特殊摄影装置的示意图。图3是特殊摄影装置1拍摄的图像的示意图，其中，(a)中为特殊拍摄装置1拍摄的半球图像(前方)，(b)表示特殊摄影装置拍摄的半球图像(后方)，(c)是利用等距柱形投影法表示的图像。图4是天球图像的示意图，其中，(a)显示用等矩柱形投影图像覆盖球的状态，(b)是天球图像。图5是将天球图像作为三维立体球体显示时假想照像机以及规定区域的位置的示意图。图6是用来说明用假想照相机拍摄得到的图像中显示在显示器上的规定区域的示意图，(a)是图5的立体图，(b)显示器上规定区域。图7是规定区域信息与规定区域T的图像之间关系的示意图。图8是本实施方式的摄像系统的外观图。图9是特殊拍摄装置的硬件结构模块图。图10是智能电话的硬件结构模块图。图11是构成本实施方式的摄影系统的功能模块图。图12中(a)是联动摄影管理表的示意图，(b)是联动摄影装置设定画面的示意图。图13是图像及音频处理部的具体功能模块图。图14是重叠显示元数据的数据结构示意图。图15中(a)是第二对应区域中网格区域的示意图，(b)是第三对应区域中网格区域的示意图。图16是摄影方法时序图。图17是重叠显示参数制作处理过程的图像示意图。图18是指定周边区域图像时的示意图。图19是第二对应区域被分割为多个网格区域的示意图。图20是等距柱形投影图像EC中的第三对应区域的示意图。图21是补偿参数的制作处理过程的图像概念图。图22是重叠显示处理过程的图像示意图。图23是天球图像上叠加了平面图像时的二维示意图。图24是天球图像上叠加了平面图像时的三维示意图。图25是在不使用本实施方式的位置参数的情况下将平面图像叠加到天球图像上的二维示意图。图26是用本实施方式的位置参数将平面图像叠加到天球图像上的二维示意图。图27是对比没有重叠显示和重叠显示的图像显示的示意图。(a)是没有重叠显示时的广域图像的显示例，(b)是没有重叠显示时的电视图像的显示例，(c)是重叠显示时的广域图像的显示例，(d)是重叠显示时的电视图像的显示例。图28是用于说明视差和晕影关系的一例示意图。图29是一例呈现晕影的平面图像的示意图。图30是用来说明重叠显示元数据中保存晕影区域的方法的一例示意图。图31是一例“晕影对策之一”的重叠显示元数据的示意图。图32是图像制作部参考重叠显示元数据的重叠区域信息，将平面图像贴到等距柱形投影图像上的处理的一例流程图。图33是用来说明在重叠显示元数据中保存晕影区域的方法的一例示意图，其中，(a)显示智能手机拍摄的平面图像和晕影区域，(b)显示以20×30的领域分割的平面图像。(c)显示一例非晕影区域被分割为20×30的平面图像，(d)显示一例非晕影区域被分割为20×30的平面图像。图34是晕影对策之二的一例重叠显示元数据的显示图。图35是图像制作部参考重叠显示元数据的重叠区域信息，将平面图像贴在等距柱形投影图像上的一例处理流程图。图36是一例用来说明关注点的示意图。图37是用来说明yaw和pitch与关注点Gp的对应一例示意图。图38是未重叠晕影区域的效果的一例示意图，其中，(a)显示为了进行对比而将晕影区域也包含在内进行重叠的天球图像，(b)显示去除晕影区域之后进行重叠的天球图像。图39是一例产生变形的平面图像的示意图。图40是一例表示纹理UV坐标和位置参数之间对应的示意图，其中，(a)显示发生变形的平面图像P为用50×50的区域分割所得到的51×51的纹理UV坐标，(b)显示基于位置参数(此处为51×51)的网格区域的位置和UV坐标之间的对应，部分立体球上被贴了平面图像P的补偿状态。图41是一例用来说明变形补偿效果的示意图，其中，(a)不考虑变形，直接把平面图像贴到部分立体球上，(b)是用经过变形补偿失的UV坐标将平面图像P贴到部分立体球上的一个例子。图42是在具有N张平面图像P的情况下的一例重叠显示元数据的示意图。图43是具有重叠顺序指定信息的重叠显示元数据的一例示意图。图44是具有作为显示开始信息的视线方向信息和视角信息的重叠显示元数据的一例构成示意图。图45是本实施方式的摄像系统构成的示意图。图46是图像处理服务器的硬件结构模块图。图47是本实施本文档来自技高网...

【技术保护点】
1.一种信息处理装置，其特征在于，具有，取得部，用于取得以第一投影方式获得的广角图像、以及以不同于所述第一投影方式的第二投影方式获得的平面图像；第一投影方式转换部，用于将所述广角图像的投影方式转换为所述第二投影方式，生成图像；提取部，用于分别从所述平面图像以及所述图像提取多个特征点；对应区域计算部，用于根据所述提取部分别提取的所述平面图像的多个特征点和所述图像的多个特征点，求出所述图像中与所述平面图像对应的第三对应区域；第二投影方式转换部，用于将所述第三对应区域包含的多个点的投影方式转换为所述第一投影方式；位置计算部，用于求出经过所述第二投影方式转换部转换的所述多个点在所述广角图像中的位置信息；以及，存储部，其中保存在所述广角图像上重叠所述平面图像时使用的所述平面图像的区域指定信息，并保存与所述平面图像的多个点相对应的、根据所述区域指定信息进行重叠显示时使用的所述位置信息。

【技术特征摘要】
2017.03.15 JP 2017-050582;2017.11.29 JP 2017-229491.一种信息处理装置，其特征在于，具有，取得部，用于取得以第一投影方式获得的广角图像、以及以不同于所述第一投影方式的第二投影方式获得的平面图像；第一投影方式转换部，用于将所述广角图像的投影方式转换为所述第二投影方式，生成图像；提取部，用于分别从所述平面图像以及所述图像提取多个特征点；对应区域计算部，用于根据所述提取部分别提取的所述平面图像的多个特征点和所述图像的多个特征点，求出所述图像中与所述平面图像对应的第三对应区域；第二投影方式转换部，用于将所述第三对应区域包含的多个点的投影方式转换为所述第一投影方式；位置计算部，用于求出经过所述第二投影方式转换部转换的所述多个点在所述广角图像中的位置信息；以及，存储部，其中保存在所述广角图像上重叠所述平面图像时使用的所述平面图像的区域指定信息，并保存与所述平面图像的多个点相对应的、根据所述区域指定信息进行重叠显示时使用的所述位置信息。2.信息处理装置，其特征在于，具有，取得部，用于取得以第一投影方式获得的广角图像、以及以不同于所述第一投影方式的第二投影方式获得的平面图像；第一投影方式转换部，用于将所述广角图像的投影方式转换为所述第二投影方式，生成图像；提取部，用于分别从所述平面图像以及所述图像提取多个特征点；对应区域计算部，用于根据所述提取部分别提取的所述平面图像的多个特征点和所述图像的多个特征点，求出所述图像中与所述平面图像对应的第三对应区域；第二投影方式转换部，用于将所述第三对应区域之中，除了在所述广角图像上重叠所述平面图像时使用的所述平面图像的区域指定信息所指定以外的，该第三对应区域包含的规定的多个点的投影方式转换为所述第一投影方式；位置计算部，用于求出经过所述第二投影方式转换部转换的所述多个点在所述广角图像中的位置信息；以及，存储部，其中保存所述区域指定信息，并将所述位置信息与所述平面图像的多个点对应保存。3.根据权利要求1或2所述的信息处理装置，其特征在于，所述图像是通过所述第一投影方式转换部将所述广角图像中包含所述平面图像的所述周边区域的投影方式转换为所述第二投影方式的周边区域图像，具有区域分割部，用于在所述周边区域图像中，将与所述平面图像对应的第二对应区域分割为多个网格区域，所述第二投影方式转换部通过将所述第二对应区域的投影方式转换为所述第一投影方式，求出所述广角图像中构成所述第二对应区域的所述多个网格区域所对应的、以多个网格区域构成的所述第三对应区域。4.根据权利要求1至3中任意一项所述的信息处理装置，其特征在于，所述区域指定信息是指定所述平面图像的任意区域的信息。5.根据权利要求1至4中任意一项所述的信息处理装置，其特征在于，所述区域指定信息是指定所述平面图像中发生画质下降的区域的信息。6.根据权利要求4或5所述的信息处理装置，其特征在于，所述区域指定信息是指定所述平面图像中摄入了拍摄所述广角图像的摄像装置的阴影的区域的信息。7.根据权利要求3所述的信息处理装置，其特征在于，在所述平面图像被分割成与所述第二对应区域相同的所述网格区域的情况下，所述区域指定信息是指定各网格区域的信息，所述区域指定信息被用于与所述第二对应区域的所述网格区域对比，判断是否将所述平面图像的网格区域贴到假想立体球中与所述第三对应区域相对应的部分立体球上。8.根据权利要求7所述的信息处理装置，其特征在于，具有元数据生成部，用于读取所述存储部中保存的所述区域指定信息，生成包含有关于所述第三对应区域的信息以及所述区域指定信息的元数据。9.根据权利要求2所述的信息处理装置，其特征在于，所述区域指定信息是用坐标来指定所述平面图像的任意区域以外的区域的信息。10.根据权利要求8所述的信息处理装置，其特征在于，所述元数据生成部根据指定所述存储部保存的所述平面图像的任意区域以外的区域的信息，将该平面图像的任意区域以外的区域分割成多个区域，将所述多个区域作为所述平面图像的任意区域以外的区域的坐标包含在所述元数据之中，所述多个区域的坐标用来与所述第二对应区域的所述网格区域对比，判断是否将所述平面图像的网格区域贴到假想立体球中与所述第三对应区域相对应的部分立体球上。11.根据权利要求1至10中任意一项所述的信息处理装置，其中，所述区域指定信息是在将所述平面图像分割为多个区域时的各个区域的坐标，所述各个坐标的区域通过拍摄平面图像的第二摄像装置的相机校准来补偿变形。12.根据权利要求8所述的信息处理装置，其中，所述元数据中设定了多个平面图像的重叠顺序。13.根据权利要求8所述的信息处理装置，其中，所述元数据中设定了所述广角图像的视线方向和视角的初始值。14.根据权利要求3所述的信息处理装置，其特...

【专利技术属性】
技术研发人员：水藤浩，浅井贵浩，河口启一，吉田和弘，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP