信息处理设备、信息处理系统、信息处理方法和存储介质技术方案

本公开涉及信息处理设备、信息处理系统、信息处理方法和存储介质。根据本公开的一个实施例的信息处理设备获得摄像信息以及移动信息，其中，摄像信息包括表示摄像装置的位置和姿势的信息，移动信息表示摄像装置的特定移动；并且在切换由摄像装置获得的所拍摄的图像和基于多个图像而生成的虚拟视点视频的情况下，基于所获得的摄像信息和所获得的移动信息，生成表示用于生成虚拟视点视频的虚拟视点的位置和从虚拟视点起的观看方向的视点信息。的位置和从虚拟视点起的观看方向的视点信息。的位置和从虚拟视点起的观看方向的视点信息。

【技术实现步骤摘要】
信息处理设备、信息处理系统、信息处理方法和存储介质


[0001]本公开涉及生成虚拟视点视频的技术。

技术介绍

[0002]通过在不同位置处安装多个摄像装置(照相机)、从多个视点进行同步摄像、以及使用通过摄像获得的多视点视频来生成虚拟视点视频的技术已经引起关注。日本特开2008
‑
015756作为这样的技术，已经公开了通过布置多个照相机以围绕对象并使用由多个照相机拍摄的对象的图像来生成与所指定的视点(虚拟视点)相对应的虚拟视点视频的技术。
[0003]此外，在已进行从多个视点的摄像的比赛项目(诸如足球等)还由诸如广播照相机等的物理照相机(在下文中，称为真实照相机)拍摄的情况下，可以对将虚拟视点视频和由真实照相机拍摄的真实照相机视频组合的电视进行转播，并在因特网中分发该组合。日本特开2020
‑
42665已经公开了通过提供被配置为将虚拟视点视频的位置、姿势和视角与真实照相机的位置、姿势和视角匹配的单元来在虚拟视点视频和真实照相机视频之间无缝切换的技术。

技术实现思路

[0004]然而，利用日本特开2020
‑
42665的技术，无法在虚拟视点视频中再现移动(例如，诸如真实照相机的照相机抖动等)。如上所述，在切换真实照相机视频和虚拟视点视频的情况下，存在这样的问题：因为没有反映真实照相机的移动，所以真实照相机视频和虚拟视点视频之间的差异变得更可能被用户识别。
[0005]因此，考虑到上述问题，本公开的目的是提供在切换真实照相机视频和虚拟视点视频的情况下减少用户的不协调感的技术。
[0006]本公开的一个实施例是信息处理设备，包括：一个或多于一个存储器，其存储有指示；以及一个或多于一个处理器，其执行所述指示以：获得摄像信息以及表示摄像装置的特定移动的移动信息，所述摄像信息包括表示所述摄像装置的位置和姿势的信息；以及在切换由所述摄像装置获得的所拍摄的图像和基于多个图像而生成的虚拟视点视频的情况下，基于所获得的摄像信息和移动信息，生成表示用于生成所述虚拟视点视频的虚拟视点的位置和从所述虚拟视点起的观看方向的视点信息。
[0007]参考附图，从以下说明书示例性实施例中，本公开的其他特征将变得显而易见。
附图说明
[0008]图1是示出操作根据第一实施例的系统的操作者的类型的图；
[0009]图2是示出根据第一实施例的系统的配置的框图；
[0010]图3是示出根据第一实施例的虚拟照相机控制装置700的硬件配置的框图；
[0011]图4是示出根据第一实施例的虚拟照相机控制装置700的软件配置的框图；
[0012]图5是根据第一实施例的逐项列出的照相机参数；
[0013]图6示出根据第一实施例的从真实照相机视频切换到虚拟视点视频的流程；
[0014]图7示出根据第一实施例的从虚拟视点视频切换到真实照相机视频的流程；
[0015]图8示出根据第一实施例的照相机路径的类型；
[0016]图9A和图9B各自是根据第一实施例的从真实照相机视频切换到虚拟视点视频时的照相机移动调度的示例；
[0017]图10A和图10B各自是根据第一实施例的从虚拟视点视频切换到真实照相机视频时的照相机移动调度的示例；
[0018]图11是根据第一实施例的照相机移动调度生成处理的流程图；
[0019]图12A和图12B共同表示根据第一实施例的照相机路径输出处理的流程图；以及
[0020]图13是示出根据第二实施例的系统的配置的框图。
具体实施例
[0021]在下文中，参考附图来说明实施例。以下实施例中示出的配置仅仅是示例性的，并且本公开的思想不限于示意性示出的配置。
[0022][第一实施例][0023]<系统配置>
[0024]对本实施例中的信息处理系统进行说明。本实施例中的信息处理系统具有通过在以下项之间进行切换来输出的功能：用于实际进行摄像的摄像装置(在下文中，称为真实照相机)(例如，诸如广播照相机等)的所拍摄的视频(在下文中，也称为真实照相机视频)和与虚拟视点相对应的虚拟视点视频。虚拟视点是由用户指定的视点。此外，在以下说明中，为了便于说明，通过使用虚拟地布置在虚拟视点的位置处的照相机(在下文中，称为虚拟照相机)来给出说明。也就是说，虚拟视点的位置和从虚拟视点起的观看方向与虚拟照相机的位置和姿势相对应。此外，从虚拟视点起的视野(视场)与虚拟照相机的视角相对应。
[0025]此外，本实施例中的虚拟视点视频也被称为自由视点视频，但是虚拟视点视频不限于与由用户自由地(任意地)指定的视点相对应的视频，并且例如与用户从多个候选中选择的视点相对应的图像等也包括在虚拟视点视频中。此外，在本实施例中，主要说明通过用户操作进行虚拟视点的指定的情况，但是也可以基于图像分析的结果等来自动进行虚拟视点的指定。此外，在本实施例中，主要说明虚拟视点视频是运动图像的情况。可以说虚拟视点视频是由虚拟照相机拍摄的视频。
[0026]图1是示出根据本实施例的信息处理系统上的操作者的类型的图。操作本系统的操作者包括至少三个类型的操作者，即操作真实照相机的真实照相机操作者、操作虚拟照相机的虚拟照相机操作者、以及操作真实照相机视频和虚拟视点视频之间的切换操作的视频切换操作者。可以存在多个操作者，或者一个操作者可以进行不同类型的操作者的角色。此外，操作者不需要是人，并且例如可以是程序化的软件。
[0027]图2是示出根据本实施例的信息处理系统的配置的框图。本系统具有时间源100、真实照相机200、延迟装置300、切换装置400、照相机组500、虚拟视点视频生成装置600和虚拟照相机控制装置700。
[0028]时间源100将时间信息(在下文中，描述为“时间码”)输出到真实照相机200和照相
机组500。真实照相机200和照相机组500基于该时间码在相同定时进行摄像，并将在相同定时拍摄的视频输出到外部。
[0029]真实照相机200是诸如安装在比赛场地的旁边等处的广播工作站中的手持式照相机等，并且真实照相机200的位置、姿势和视角由真实照相机操作者控制。真实照相机200将所拍摄的视频(在下文中，描述为“真实照相机视频”)和时间码输出到延迟装置300。真实照相机200包含具有接收单元的诸如GPS传感器、陀螺仪传感器和加速度传感器等的测量装置(传感器)，或者诸如附接到真实照相机200的外部等的测量装置。真实照相机200向延迟装置300输出传感器信息和摄像信息以及真实照相机视频，其中该摄像信息包括表示真实照相机的位置、姿势和视角(变焦值)的信息(在下文中，这些信息一起被描述为“真实照相机参数”)。在图2中，对存在一个真实照相机的示例进行说明，但是系统也可以具有多个真实照相机。此外，真实照相机的类型不限于手持式照相机。例如，真实照相机可以是由云台(pan head)控制的照相机、在由线(wire)等保持的状态下被控制的照相机、以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息处理设备，包括：获得部件，用于获得摄像信息以及移动信息，其中，所述摄像信息包括表示摄像装置的位置和姿势的信息，所述移动信息表示所述摄像装置的特定移动；以及生成部件，用于在切换由所述摄像装置获得的所拍摄的视频和基于多个图像而生成的虚拟视点视频的情况下，基于由所述获得部件获得的摄像信息和移动信息，生成表示用于生成所述虚拟视点视频的虚拟视点的位置和从所述虚拟视点起的观看方向的视点信息。2.根据权利要求1所述的信息处理设备，其中，所述摄像信息还包括表示变焦值的信息。3.根据权利要求2所述的信息处理设备，其中，所述移动信息包括与所述摄像装置的振动和转动有关的信息、与所述摄像装置的移动有关的信息以及与所述摄像装置的变焦移动有关的信息其中至少之一。4.根据权利要求3所述的信息处理设备，其中，与所述摄像装置的振动和转动有关的信息包括所述摄像装置的振动量和所述摄像装置的转动量其中至少之一。5.根据权利要求3所述的信息处理设备，其中，与所述摄像装置的移动有关的信息包括在所述摄像装置的三维正交坐标的各个方向上的移动量。6.根据权利要求3所述的信息处理设备，其中，与所述摄像装置的变焦移动有关的信息包括所述摄像装置的变焦的值、移动方向和移动速度其中至少之一。7.根据权利要求1所述的信息处理设备，其中，所述摄像装置具有被配置为获得所述移动信息的传感器。8.根据权利要求1所述的信息处理设备，其中，所述摄像信息还包括所述摄像装置的镜头畸变值和所述摄像装置的聚焦程度的值。9.根据权利要求1所述的信息处理设备，其中，所述特定移动包括在所述摄像装置的位置和姿势未被控制为使得所述摄像装置的位置和姿势被改变的状态下观察到的移动。10.根据权利要求1所述的信息处理设备，其中，所述特定移动包括所述摄像装置的位置和姿势的变化量小于阈值的移动。11.一种信息处理系统，包括：根据权利要求1至10中任一项所述的信息处理设备；所述摄像装置；摄像装置组，用于获得生成所述虚拟视点视频所使用的多个图像；生成装置，其基于多个所拍摄的视频和所述视点信息来生成所述虚拟视点视频；...

【专利技术属性】
技术研发人员：四方靖，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：