显示控制装置、显示控制方法和存储介质制造方法及图纸

本发明专利技术提供一种显示控制装置、显示控制方法和存储介质。所述显示控制装置包括：获得单元，其被构造为获得与虚拟视点的移动路径相关的虚拟照相机路径信息，所述虚拟视点与基于通过用多个照相机对拍摄目标区域进行拍摄而获得的多个拍摄图像而生成的虚拟视点视频图像相关；生成单元，其被构造为基于获得单元获得的虚拟照相机路径信息，生成表示包括虚拟视点的第一移动路径和第二移动路径的多个移动路径的虚拟照相机路径图像；以及显示控制单元，其被构造为在显示屏上显示由生成单元生成的虚拟照相机路径图像。

Display control device, display control method and storage medium

The invention provides a display control device, a display control method and a storage medium. The display control device includes: acquisition unit, which is constructed to obtain virtual camera path information related to the moving path of the virtual viewpoint, which is related to a virtual viewpoint video image generated based on a plurality of captured images obtained by capturing a captured target area with a plurality of cameras; generation unit, which is constructed based on acquisition unit acquisition. The obtained virtual camera path information generates a virtual camera path image representing multiple moving paths including the first and second moving paths of the virtual viewpoint, and a display control unit, which is constructed to display the virtual camera path image generated by the generating unit on the display screen.

【技术实现步骤摘要】
显示控制装置、显示控制方法和存储介质
本专利技术涉及一种在二维平面上显示三维空间中的虚拟照相机的轨迹数据(照相机路径)的技术。
技术介绍
在计算机图形(CG)中，在三维空间中建模的三维对象被渲染为从任意视点观看的二维视频图像。虚拟地设置在三维空间中以表示任意视点的位置和视野范围(视角)的照相机被称为虚拟照相机。虚拟照相机的操作者根据场景的进展来操纵三维空间中的虚拟照相机的位置和视野范围。三维空间中虚拟照相机的位置和视野范围的轨迹(或轨线)通常被称为虚拟照相机路径(或简称为照相机路径)。此外，基于照相机路径生成的二维运动图像被称为自由视点视频图像。如果存在场景的三维对象数据和照相机路径数据，则可以再现虚拟照相机的位置和视野范围的轨迹以重放自由视点视频图像。近年来，已经开发了一种从由大量照相机(实际照相机而不是虚拟照相机)拍摄的视频图像生成三维对象并且重放自由视点视频图像的技术，并使用重放的自由视点视频图像以满足各种需求的期望已经增加。特别地，在体育广播中，非常需要从各种视点(甚至从没有实际照相机的视点)回放一个场景，从而经常从一个场景创建大量的照相机路径。例如，在体育的直播中，在得分场景和精彩表现场景(fineplayscene)中生成分别从不同视点观看的大量照相机路径，并且一个接一个地回放自由视点视频图像。而且，在比赛期间和比赛之后多次回放得分场景和精彩表现场景，因此存在重新使用照相机路径的情况。这里，由于在直播中限制时间，因此需要从大量创建的照相机路径当中快速且可靠地找到期望的照相机路径，并使用找到的期望的照相机路径来重放视频图像。另一方面，在稍后要广播的精彩节目中，有可能从一个播放创建更多的照相机路径并且重放各种自由视点视频图像。此外，在精彩节目中，由于从比赛到广播存在时间，因此除了实际用于广播的照相机路径之外，还通过反复试验创建更多的照相机路径，以追求更好的照相机路径。也就是说，在精彩节目中，由于创建了大量的照相机路径，因此需要从所创建的照相机路径当中快速找到要被重新编辑的照相机路径和/或用于自由视点视频图像重放的照相机路径。关于这一点，日本特开第2014-164685号公报公开了将分别从多个照相机路径重放的自由视点视频图像同时显示在多个画面上。根据日本特开第2014-164685号公报，用户(操作者)观看要重放的自由视点视频图像并决定是否已经使用了期望的照相机路径。然而，在存在多个类似的照相机路径的情况下，通常花费很多时间直到用户可以决定在自由视点视频图像中是否已经使用了期望的照相机路径的场景出现。此外，在用户同时观看大量的自由视点视频图像的情况下，担心用户错过了他/她可以决定是否已经使用了期望的照相机路径的场景。在这种情况下，如果用户错过了相关场景，他/她必须再次进行重放。此外，在存在大量照相机路径并且不能一次显示自由视点视频图像的情况下，需要多次重放自由视点视频图像。在这种情况下，花费时间并且难以进行对这些视频图像的比较。也就是说，在相关
技术介绍
中，难以从大量照相机路径当中快速找到期望的照相机路径。
技术实现思路
考虑到如上所述的这样的问题完成了本专利技术，并且本专利技术的目的是提供一种显示控制装置，其特征在于，所述显示控制装置包括：获得单元，其被构造为获得与虚拟视点的移动路径相关的虚拟照相机路径信息，所述虚拟视点与基于通过用多个照相机对拍摄目标区域进行拍摄而获得的多个拍摄图像而生成的虚拟视点视频图像相关；生成单元，其被构造为基于获得单元获得的虚拟照相机路径信息，生成表示包括虚拟视点的第一移动路径和第二移动路径的多个移动路径的虚拟照相机路径图像；以及显示控制单元，其被构造为在显示屏上显示由生成单元生成的虚拟照相机路径图像。根据下面参照附图对示例性实施例的描述，本专利技术的其他特征将变得显而易见。附图说明图1是根据本专利技术的实施例的照相机路径显示系统的框图。图2是根据第一实施例的照相机路径列表显示处理的流程图。图3A和图3B是用于描述照相机路径的数据格式的图。图4A和图4B是用于描述照相机路径列表显示的第一画面示例的图。图5是用于描述照相机路径列表显示的第一画面示例的变型例的图。图6是用于描述照相机路径列表显示的第二画面示例的图。图7A和图7B是用于描述照相机路径列表显示的第三画面示例的图。图8是用于描述照相机路径列表显示的第四画面示例的图。图9是用于描述照相机路径列表显示的第四画面示例的变型例的图。图10是用于描述照相机路径列表显示的第四画面示例的另一变型例的图。图11是根据第二实施例的照相机路径列表显示处理的流程图。图12是用于描述根据第二实施例的照相机路径列表显示的画面示例的图。具体实施方式现在将根据附图详细地描述本专利技术的优选实施例。顺便提及，应注意，下面描述的实施例示出了在具体实践本专利技术的情况下的示例，并且本专利技术不限于以下实施例。在本实施例中，将描述其中本专利技术的信息处理装置应用于照相机路径显示系统的示例，在该照相机路径显示系统中，多个照相机在三维空间中的位置和视野范围(视角)的轨迹被显示为二维平面上的照相机路径。<第一实施例>图1是包括根据第一实施例的信息处理装置20的照相机路径显示系统的框图。照相机路径显示系统被构造为包括操作单元1、信息处理装置20和显示单元11。信息处理装置20例如是个人计算机(PC(个人计算机)的主体)。操作单元1对应于个人计算机的键盘、鼠标或专用控制器等，从用户获取操作输入，并将获取的输入传送到信息处理装置20。显示单元11是例如，诸如液晶显示器等的显示设备，从信息处理装置20接收显示数据，并在屏幕上显示图像等。根据本实施例的信息处理装置20具有由从三维对象存储单元2到照相机路径图像生成参数设置单元10的组件构成的构造。三维对象存储单元2将与三维平面上布置的三维对象相关的数据(建模数据，纹理数据，布局数据)与时间的流逝相关联地存储。自由视点视频图像生成单元3基于与存储在三维对象存储单元2中的三维对象相关的数据和与虚拟照相机的位置和视野范围(视角)的轨迹相对应的照相机路径数据来生成自由视点视频图像，并将所生成的视频图像作为二维运动图像数据输出。照相机路径编辑单元4基于经由操作单元1从用户输入的操作来编辑照相机路径数据。更具体地，针对从运动图像场景的开始时间到结束时间的各个帧，照相机路径编辑单元4通过基于来自操作单元1的操作输入进行对虚拟照相机的位置和视野的设置和调整来编辑照相机路径数据。此外，照相机路径编辑单元4具有以下功能：在基于操作单元1的操作输入针对若干特定帧设置并调整虚拟照相机的位置和视野的情况下，通过插值获得在这些特定帧的途中的帧中的虚拟照相机的位置和视野。照相机路径存储单元5将由照相机路径编辑单元4编辑的照相机路径数据与三维对象数据的时间流逝相关联地存储。照相机路径图像生成单元8基于上述照相机路径数据和三维对象数据以及稍后描述的照相机路径图像生成参数来生成照相机路径图像。稍后将描述照相机路径图像的细节。照相机路径图像存储单元7存储由照相机路径图像生成单元8生成的照相机路径图像。照相机路径图像与照相机路径和用于生成照相机路径图像的照相机路径图像生成参数相关联地存储在照相机路径图像存储单元7中。照相机路径图像生成参数设置单元10基于经由操作单元1从本文档来自技高网...

【技术保护点】
1.一种显示控制装置，所述显示控制装置包括：获得单元，其被构造为获得与虚拟视点的移动路径相关的虚拟照相机路径信息，所述虚拟视点与基于通过用多个照相机对拍摄目标区域进行拍摄而获得的多个拍摄图像而生成的虚拟视点视频图像相关；生成单元，其被构造为基于获得单元获得的虚拟照相机路径信息，生成表示包括虚拟视点的第一移动路径和第二移动路径的多个移动路径的虚拟照相机路径图像；以及显示控制单元，其被构造为在显示屏上显示由生成单元生成的虚拟照相机路径图像。

【技术特征摘要】
2017.11.21 JP 2017-2236861.一种显示控制装置，所述显示控制装置包括：获得单元，其被构造为获得与虚拟视点的移动路径相关的虚拟照相机路径信息，所述虚拟视点与基于通过用多个照相机对拍摄目标区域进行拍摄而获得的多个拍摄图像而生成的虚拟视点视频图像相关；生成单元，其被构造为基于获得单元获得的虚拟照相机路径信息，生成表示包括虚拟视点的第一移动路径和第二移动路径的多个移动路径的虚拟照相机路径图像；以及显示控制单元，其被构造为在显示屏上显示由生成单元生成的虚拟照相机路径图像。2.根据权利要求1所述的显示控制装置，所述显示控制装置还包括：设置单元，其被构造为设置，生成单元用于生成虚拟照相机路径图像的参数，其中，生成单元基于获得单元获得的虚拟照相机路径信息和设置单元设置的参数，生成虚拟照相机路径图像。3.根据权利要求1所述的显示控制装置，其中，虚拟照相机路径图像包括表示虚拟视点的位置、方向、视角和注视点中的至少任一个的时间变化的图形。4.根据权利要求1所述的显示控制装置，其中，虚拟照相机路径图像包括，表示三维空间的前景和背景的至少一部分的图像。5.根据权利要求1所述的显示控制装置，其中，虚拟照相机路径图像包括，表示虚拟视点的移动路径的高度和透视中的至少任一个的图形。6.根据权利要求2所述的显示控制装置，其中，所述参数包括，表示用于俯视虚拟照相机的移动路径的视点位置和视野范围中的至少任一个的参数。7.根据权利要求2所述的显示控制装置，其中，所述参数包括，用于指定在虚拟照相机路径图像中显示的图形或图像的显示/不显示、形状、颜色、显示间隔和不透明度中的至少任一个的信息。8.根据权利要求2所述的显示控制装置，其中，所述参数包括，用于指定运动图像场景中的特定帧的信息。9.根据权利要求8所述的显示控制装置，其中，生成单元生成，包括所述特定帧中的虚拟视点的状态以及三维空间的前景和背景中的至少任一个的虚拟照相机路径图像。10.根据权利要求9所述的显示控制装置，其中，生成单元通过将被指定为所述特定帧的多个帧的前景多样化来生成虚拟照相机路径图像。11.根据权利要求10所述的显示控制装置，其中，生成单...

【专利技术属性】
技术研发人员：松林一弘，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP