信息处理设备、信息处理方法和程序技术

进行控制以使得根据接受了与以第一回放速度回放虚拟视点图像期间的特定用户操作相对应的输入而改变的虚拟视点的变化速度变得低于根据接受了与以高于所述第一回放速度的第二回放速度回放所述虚拟视点图像期间的所述特定用户操作相对应的输入而改变的所述虚拟视点的变化速度。

【技术实现步骤摘要】
【国外来华专利技术】信息处理设备、信息处理方法和程序
本专利技术涉及信息处理设备、信息处理方法和程序。
技术介绍
近年来，一种技术正受到关注，该技术用于通过将多个照相机安装在不同位置进行多视点同步摄像，并且使用通过摄像操作所获得的多个视点图像以不仅生成来自照相机安装位置的图像、而且还生成由一个或多个任意视点形成的虚拟视点图像。使用虚拟视点图像的服务允许视频制作者根据例如通过拍摄足球比赛或篮球比赛所获得的视频来制作有影响的视点内容。另外，还允许作为内容的观看者的用户通过自由地移动他/她的视点来观看比赛，并且与传统的拍摄图像相比，向用户提供更逼真的观看体验。专利文献1公开了用于实现虚拟照相机的操作者所期望的构图的虚拟照相机的控制方法。更具体地，公开了一种布置，其中，在包括任意视点视频数据的视频内容数据的回放期间，如果用户进行用以移动任意视点视频数据的视点的操作，则针对正回放的任意视点视频中的各区域来控制视点移动量。引文列表专利文献专利文献1：日本特开2012-109719
技术实现思路
专利技术要解决的问题然而，专利文献1中所描述的技术存在难以根据被摄体的移动来生成具有操作者所期望的构图的虚拟视点图像的问题。考虑到上述问题而做出本专利技术，并且本专利技术的目的是提供一种便于生成具有虚拟视点的操作者所期望的构图的虚拟视点图像的技术。用于解决问题的方案根据本专利技术的实现上述目的的信息处理设备的特征在于包括：确定部件，用于确定基于多个拍摄图像的虚拟视点图像的回放速度；接受部件，用于接受与以所述确定部件所确定的回放速度回放所述虚拟视点图像期间的用户操作相对应的输入；以及控制部件，用于进行控制以基于所述接受部件所接受的输入来改变与所述虚拟视点图像相对应的虚拟视点，并且进行控制以使得根据接受了与以第一回放速度回放所述虚拟视点图像期间的特定用户操作相对应的输入而改变的所述虚拟视点的变化速度变得低于根据接受了与以高于所述第一回放速度的第二回放速度回放所述虚拟视点图像期间的所述特定用户操作相对应的输入而改变的所述虚拟视点的变化速度。专利技术的效果根据本专利技术，便于生成具有虚拟视点的操作者所期望的构图的虚拟视点图像。通过以下结合附图的描述，本专利技术的其它特征和优点将变得明显。注意，在整个附图中，相同的附图标记表示相同或相似的组件。附图说明结合在说明书中并构成说明书一部分的附图例示了本专利技术的实施例，并且与说明书一起用于解释本专利技术的原理。图1A是示出根据第一实施例的图像处理系统的整体结构的示例的框图；图1B是示出信息处理设备的硬件布置的示例的框图；图2是示出根据第一实施例的信息处理设备的布置的示例的框图；图3是示出根据第一实施例的时间概念的示例的图；图4是例示根据第一实施例的记录时间计算单元的处理的示例的流程图；图5A是例示根据第一实施例的信息处理设备的处理的示例的流程图；图5B是例示根据第一实施例的信息处理设备的处理的示例的流程图；图6是示出根据第二实施例的信息处理设备的布置的示例的框图；图7是示出根据第二实施例的通信单元向虚拟视点图像生成服务器或记录编辑设备发送的照相机参数的示例的表；图8是示出根据第三实施例的用于生成重放虚拟视点图像的UI的示例的图；以及图9是示出根据第三实施例的控制器的示例的图。具体实施方式以下将参考附图描述实施例。注意，在下面描述的实施例中示出的布置仅是示例，并且本专利技术不限于所例示的布置。(第一实施例)<概述>在第一实施例中，将描述在创建虚拟照相机的照相机路径时与再现照相机路径时之间改变虚拟视点图像的回放速度的示例。更具体地，当创建照相机路径时，通过在以两倍于实际时间(以0.5倍速度)回放虚拟视点图像的同时操作并移动与虚拟视点相对应的虚拟照相机来创建照相机路径。通过操作者指定适于创建照相机路径的回放速度，可以精确地移动虚拟照相机，并且这使得容易地追随虚拟视点图像中所包括的被摄体。此外，操作者还可以指定再现照相机路径时的回放速度。例如，以实际时间回放虚拟视点图像(两倍于创建照相机路径时的0.5倍速度)。这使得可以回放舒适的虚拟视点图像。照相机路径是指示与虚拟视点图像相对应的虚拟视点的时间变化的视点信息的示例。<图像处理系统的结构>图1A是示出根据本实施例的图像处理系统10的整体结构的框图。图像处理系统10包括摄像系统101、虚拟视点图像生成服务器102和信息处理设备103。图像处理系统10能够生成虚拟视点图像。摄像系统101包括安装在不同位置的多个照相机，并且从多个视点同步拍摄多个图像。然后，将从多个视点同步拍摄的多个图像发送到虚拟视点图像生成服务器102。虚拟视点图像生成服务器102基于从多个视点同步拍摄的多个图像生成从虚拟照相机观察到的虚拟视点图像，该虚拟照相机是与在摄像空间中可移动的虚拟视点相对应的虚拟照相机。也就是说，虚拟视点图像生成服务器102能够生成虚拟视点图像，该虚拟视点图像还包括从与摄像系统101中包括的任何照相机的视点不同的视点观察到的图像。虚拟照相机的视点通过由稍后描述的信息处理设备103所确定的照相机参数来表示。虚拟视点图像生成服务器102根据接收到的多个图像顺次生成虚拟视点图像。也就是说，虚拟视点图像生成服务器102可以生成实时虚拟视点图像。注意，可以由图像处理系统10生成的实时虚拟视点图像是基于在考虑到相对于当前时间的摄像系统101和虚拟视点图像生成服务器102中的处理延迟所确定的时间由摄像系统101拍摄的多个图像的虚拟视点图像。此外，虚拟视点图像生成服务器102包括数据库，并且具有记录所接收的多个图像的功能。因此，虚拟视点图像生成服务器102能够生成重放虚拟视点图像。重放虚拟视点图像是基于摄像系统101在任意时间拍摄的图像的虚拟视点图像，例如在再现所创建的照相机路径时回放的虚拟视点图像。注意，除非另有说明，否则说明书中使用的词语“图像”包括运动图像的概念和静止图像的概念这两者。也就是说，图像处理系统10可以处理静止图像和运动图像这两者。信息处理设备103控制虚拟照相机并确定表示虚拟照相机的视点的照相机参数。虚拟照相机的照相机参数至少包括用于指定虚拟照相机的位置、姿势和时间的参数。虚拟照相机的照相机参数还可以包括变焦。照相机参数的时间是稍后将参考图3描述的播放公开时间和播放结束时间之间的时间。该时间可以以诸如20xx年x月x日x时x钟x秒等的格式表示，或者可以表示为当播放开始时间用作基准(零)时所获得的时间。由照相机参数指定的虚拟照相机的位置可以是指示三维坐标组的位置。另外，由虚拟照相机的照相机参数指定的位置可以由三轴笛卡尔坐标系的X轴、Y轴和Z轴各自的坐标来指示。在这种情况下，由虚拟照相机的照相机参数指定的位置是指示坐标组的位置，并且可以由三个轴(即，X轴、Y轴和Z轴)的参数形成。注意，可以将摄像空间中的任意位置本文档来自技高网...

【技术保护点】
1.一种信息处理设备，其特征在于，包括：/n确定部件，用于确定基于多个拍摄图像的虚拟视点图像的回放速度；/n接受部件，用于接受与以所述确定部件所确定的回放速度回放所述虚拟视点图像期间的用户操作相对应的输入；以及/n控制部件，用于进行控制以基于所述接受部件所接受的输入来改变与所述虚拟视点图像相对应的虚拟视点，并且进行控制以使得根据接受了与以第一回放速度回放所述虚拟视点图像期间的特定用户操作相对应的输入而改变的所述虚拟视点的变化速度变得低于根据接受了与以高于所述第一回放速度的第二回放速度回放所述虚拟视点图像期间的所述特定用户操作相对应的输入而改变的所述虚拟视点的变化速度。/n

【技术特征摘要】
【国外来华专利技术】20180712 JP 2018-1326391.一种信息处理设备，其特征在于，包括：
确定部件，用于确定基于多个拍摄图像的虚拟视点图像的回放速度；
接受部件，用于接受与以所述确定部件所确定的回放速度回放所述虚拟视点图像期间的用户操作相对应的输入；以及
控制部件，用于进行控制以基于所述接受部件所接受的输入来改变与所述虚拟视点图像相对应的虚拟视点，并且进行控制以使得根据接受了与以第一回放速度回放所述虚拟视点图像期间的特定用户操作相对应的输入而改变的所述虚拟视点的变化速度变得低于根据接受了与以高于所述第一回放速度的第二回放速度回放所述虚拟视点图像期间的所述特定用户操作相对应的输入而改变的所述虚拟视点的变化速度。


2.根据权利要求1所述的信息处理设备，其特征在于，还包括：
视点信息生成部件，用于生成指示根据所述控制部件的控制的虚拟视点的时间变化的视点信息；以及
图像生成部件，用于基于所述视点信息生成部件所生成的视点信息以及所述多个拍摄图像，生成要以与所述确定部件所确定的回放速度不同的回放速度回放的虚拟视点图像。


3.根据权利要求1所述的信息处理设备，其特征在于，包括：
视点信息生成部件，用于生成指示根据所述控制部件的控制的虚拟视点的变化的视点信息；以及
输出部件，用于将所述视点信息生成部件所生成的视点信息输出到用于基于所述多个拍摄图像生成虚拟视点图像的图像生成设备。


4.根据权利要求3所述的信息处理设备，其特征在于，所述输出部件输出指示所述图像生成设备所生成的虚拟视点图像的回放速度的信息。


5.根据权利要求4所述的信息处理设备，其特征在于，所述确定部件所确定的回放速度与所述输出部件输出的信息所指示的回放速度不同。


6.根据权利要求1至5中任一项所述的信息处理设备，其特征在于，所述确定部件基于用户的指定操作来确定所述虚拟视点图像的回放速度。


7.根据权利要求1至5中任一项所述的信息处理设备，其特征在于，所述确定部件基于所述多个拍摄图像中的至少任意拍摄图像中所包括的被摄体的移动来确定所述虚拟视点图像的回放速度。


8.根据权利要求1至7中任一项所述的信息处理设备，其特征在于，所述控制部件基于所述确定部件所确定的回放速度来确定所述虚拟视点的变化速度的上限。


9.根据权利要求1至7中任一项所述的信息处理设备，其特征在于，所述控制部件基于所述确定部件所确定的回放速度来确定与用户操作相对应的所述虚拟视点的变化的灵敏度。


10.根据权利要求1至9中任一项所述的信息处理设备，其特征在于，所述控制部件基于所述接受部件所接受的输入来改变所述...

【专利技术属性】
技术研发人员：米田圭吾，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP