本发明专利技术涉及信息处理装置、信息处理方法以及存储介质。该信息处理装置获得表示摄像区域中被摄体的位置和形状的被摄体信息，其中，由多个摄像装置从不同方向对所述摄像区域进行摄像；基于所述被摄体信息，来区分摄像区域中从特定位置能够看到的可见区域和由于被被摄体遮挡而从所述特定位置无法看到的遮挡区域；生成显示基于区分结果的信息的虚拟视点图像，所述虚拟视点图像基于根据由多个摄像装置进行摄像的图像数据和指示虚拟视点的位置和方向的虚拟视点信息。向的虚拟视点信息。向的虚拟视点信息。
【技术实现步骤摘要】
信息处理装置、信息处理方法以及存储介质
[0001]本公开涉及信息处理装置、信息处理方法和存储介质。特别是，本公开涉及对使用多个摄像装置从多个方向对被摄体进行摄像而获得的信息进行的处理。
技术介绍
[0002]存在一种用设置在不同位置的多个摄像装置从多个视点同步进行摄像，并使用通过摄像获得的多个图像生成可自由改变视点的虚拟视点图像的技术。例如，基于诸如足球和篮球等比赛的多个摄像图像来生成与由用户设定的视点相对应的虚拟视点图像，从而用户可以从不同的视点观看比赛。根据摄像区域中的特定被摄体(如足球运动员和裁判等)的位置和方向来设置虚拟视点的位置和方向，从而可以生成再现运动员或裁判视场的虚拟视点图像。
[0003]日本专利第6555513号讨论了使用通过从多个方向对足球比赛进行摄像而获得的数据，提供与特定运动员的视点相对应的视频内容。日本专利第6555513号还讨论了对由其他运动员的视点坐标、视线方向和视角定义的视场进行估计，并在视频内容中显示不存在于其他运动员的视场中的盲点区域。
[0004]然而，日本专利第6555513号中讨论的方法所指定的盲点区域并不能反映摄像区域中由被摄体遮挡的不可见区域。例如，即使区域是靠近运动员的视线方向的区域，运动员也无法从运动员的视点看到被其他运动员遮挡的区域。因此，即使未包括在日本专利第6555513号中讨论的视频内容中显示的盲点区域中的区域，也可以包括表示实际盲点的区域。
技术实现思路
[0005]根据本公开的一个方面，提供了一种可以容易地区分从特定位置可以看到的区域和由于遮挡而无法看到的区域的技术。
[0006]根据本公开的一个方面，提供了一种信息处理装置，包括：获得单元，其被构造为获得表示摄像区域中被摄体的位置和形状的被摄体信息，其中，由多个摄像装置从不同方向对所述摄像区域进行摄像；区分单元，其被构造为基于由所述获得单元获得的所述被摄体信息，来区分摄像区域中从特定位置能够看到的可见区域和由于被被摄体遮挡而从所述特定位置无法看到的遮挡区域；以及生成单元，其被构造为生成显示基于所述区分单元的区分结果的信息的虚拟视点图像，所述虚拟视点图像基于根据由多个摄像装置进行摄像的图像数据和指示虚拟视点的位置和方向的虚拟视点信息。
[0007]根据本公开的另一个方面，提供了一种信息处理装置，包括：获得单元，其被构造为获得表示摄像区域中的被摄体的位置和形状的被摄体信息，所述被摄体信息基于由多个摄像装置从不同方向对摄像区域进行摄像而获得的图像数据而生成，生成单元，其被构造为基于由所述获得单元获得的被摄体信息，生成能够区分从与摄像区域中的指定被摄体对应的特定位置能够看到可见区域和由于被其他被摄体遮挡而从特定位置无法看到的遮挡
区域的信息；以及输出单元，其构造为输出由所述生成单元生成的信息。
[0008]根据本公开的另一个方面，提供了一种信息处理方法，包括：获得表示摄像区域中被摄体的位置和形状的被摄体信息，其中，由多个摄像装置从不同方向对所述摄像区域进行摄像；基于由通过所述获得而获得的所述被摄体信息，来区分摄像区域中从特定位置能够看到的可见区域和由于被被摄体遮挡而从所述特定位置无法看到的遮挡区域；以及生成显示基于所述区分的结果的信息的虚拟视点图像，所述虚拟视点图像基于根据由多个摄像装置进行摄像的图像数据和指示虚拟视点的位置和方向的虚拟视点信息。
[0009]根据本公开的另一个方面，提供了一种信息处理方法，包括：获得表示摄像区域中的被摄体的位置和形状的被摄体信息，所述被摄体信息基于由多个摄像装置从不同方向对摄像区域进行摄像而获得的图像数据而生成，基于通过所述获得而获得的被摄体信息，生成能够区分从与摄像区域中的指定被摄体对应的特定位置能够看到可见区域和由于被其他被摄体遮挡而从特定位置无法看到的遮挡区域的信息；以及输出通过所述生成而生成的信息。
[0010]根据本公开的另一个方面，提供了一种存储介质，其存储有用于使计算机用作上述信息处理装置的程序。
[0011]通过以下参照附图对示例性实施例的描述，本公开的其他特征将变得清楚。
附图说明
[0012]图1例示了图像处理系统的构造的示例。
[0013]图2例示了信息处理装置的硬件构造的示例。
[0014]图3A和图3B是例示了信息处理装置和显示装置的操作示例的流程图。
[0015]图4A和图4B例示了用于可见性确定的处理。
[0016]图5A和图5B例示了可见性信息的示例。
[0017]图6是例示了信息处理装置的操作示例的流程图。
[0018]图7例示了可见性信息的示例。
[0019]图8例示了可见性信息的输出的示例。
具体实施方式
[0020][系统构造][0021]图1例示了图像处理系统1的构造的示例。图像处理系统1生成表示从指定的虚拟视点观看的虚拟视点图像。图像处理系统1基于指定的虚拟视点和基于通过多个摄像装置进行摄像而获得的多个图像(多视点图像)来生成虚拟视点图像。根据本示例性实施例的虚拟视点图像也被称为自由视点视频。然而，虚拟视点图像并不限于与由用户自由(任意)指定的视点相对应的图像，而是包括例如与由用户从多个候选中选择的视点对应的图像。根据本示例性实施例，主要描述通过用户操作指定虚拟视点的情况，但是可以基于例如图像分析的结果来自动指定虚拟视点。此外，根据本示例性实施例，主要描述虚拟视点图像为静止图像的情况，但虚拟视点图像可以是运动图像。换句话说，图像处理系统1可以对静止图像和运动图像二者进行处理。在下面的描述中，除非另有说明，否则“图像”一词将被描述为是包括运动图像和静止图像二者的概念。
[0022]图像处理系统1包括多个摄像装置100、图像处理装置110、信息处理装置200和显示装置300。多个摄像装置100从多个方向拍摄摄像区域中要拍摄的主体(被摄体)。摄像区域的示例包括举办足球比赛和空手道比赛的体育场，以及举办音乐会和表演的舞台。根据本示例性实施例，主要描述摄像区域为足球场的情况。多个摄像装置100被各自设置在不同的位置以围绕摄像区域，并彼此同步地摄像。多个摄像装置100可以设置为不覆盖整个摄像区域的周围，而是取决于设置位置等的限制而仅设置在摄像区域的一部分的方向上。摄像装置的数量不限于图1例示的示例。例如，在摄像区域为足球场的情况下，可以围绕该球场设置约30个摄像装置。此外，还可以设置具有不同功能的摄像装置，例如远摄照相机和广角照相机。
[0023]根据本示例性实施例的多个摄像装置100中的各个是具有独立壳体的照相机，并且可以从单个视点拍摄图像。然而，本示例性实施例并不限于这种构造，同一壳体中可以包括两个或更多个摄像装置。例如，可以将包括多个镜头组和多个传感器并从多个视点进行摄像的单个照相机设置为该多个摄像装置100。
[0024]图像处理装置110基于从多个摄像装置100获得的图像数据生成被摄体信息101。被摄体信息101包括摄像区域中的前景被摄体(例如人和球)和背景被摄体(例如本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种信息处理装置，包括：获得单元，其被构造为获得表示摄像区域中被摄体的位置和形状的被摄体信息，其中，由多个摄像装置从不同方向对所述摄像区域进行摄像；区分单元，其被构造为基于由所述获得单元获得的所述被摄体信息，来区分摄像区域中从特定位置能够看到的可见区域和由于被被摄体遮挡而从所述特定位置无法看到的遮挡区域；以及生成单元，其被构造为生成显示基于所述区分单元的区分结果的信息的虚拟视点图像，所述虚拟视点图像基于根据由多个摄像装置进行摄像的图像数据和指示虚拟视点的位置和方向的虚拟视点信息。2.根据权利要求1所述的信息处理装置，其中，显示在虚拟视点图像上的基于区分结果的信息包括，指示可见区域的信息和指示遮挡区域的信息中的至少任一者。3.根据权利要求2所述的信息处理装置，其中，显示在虚拟视点图像上的基于区分结果的信息包括，覆盖虚拟视点图像中的可见区域的图像和覆盖虚拟视点图像中的遮挡区域的图像中的至少任一者。4.根据权利要求1至3中的任一项所述的信息处理装置，所述信息处理装置还包括视场信息获得单元，所述视场信息获得单元被构造为获得与特定位置的视点有关的视场信息，所述视场信息指示作为视点位置的特定位置、视点位置的视线方向以及以视线方向为中心的视场大小，其中，所述区分单元将由所述视场信息获得单元获得的视场信息所指定的视场的范围中包括的区域中的、在视点的位置之间不存在被摄体的区域区分为可见区域，在视点的位置之间存在被摄体的区域区分为遮挡区域。5.根据权利要求1至3中的任一项所述的信息处理装置，其中，所述可见区域包括在从所述特定位置观看的预定角度范围内，并且其中，所述区分单元对可见区域与不包括在从特定位置观看的预定角度范围内的范围外区域进行区分。6.根据权利要求5所述的信息处理装置，其中，在虚拟视点图像上显示的基于区分结果的信息包括指示包括，遮挡区域和范围外区域的不可见区域的信息。7.根据权利要求6所述的信息处理装置，其中，在虚拟视点图像上显示的基于区分结果的信息包括，覆盖虚拟视点图像中的不可见区域的图像。8.根据权利要求1至3中的任一项所述的信息处理装置，其中，在虚拟视点图像上显示的基于区分结果的信息包括，指示摄像区域中的特定被摄体是否位于可见区域的信息。9.根据权利要求1至3中的任一项所述的信息处理装置，其中，在虚拟视点图像上显示的基于区分结果的信息包括，指示遮挡区域的面积或体积的信息。10.根据权利要求1至3中的任一项所述的信息处理装置，其中，在虚拟视点图像上显示的基于区分结果的信息包括，指示在摄像区域中的多个特定位置中由于遮挡而无法看到区域的特定位置较小的信息。11.根据权利要求1至3中的任一项所述的信息处理装置，其中，所述特定位置是与摄像区域中的被指定的被摄体相对应的位置，并且其中，所述遮挡区域是指由于被其他被摄体遮挡而从所述特定位置无法看到的区域。
12.根据权利要求11所述的信息处理装置，其中，被指定的被摄体是人物，并且其中，所述特定位置是人物的头部或眼睛的位置。13.根据权利要求1至3中的任一项所述...
【专利技术属性】
技术研发人员：阿达大地，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。