信息处理装置和方法、程序以及信息处理系统制造方法及图纸

本技术涉及能够为观看自由视点运动图像的用户提供更好的用户体验的信息处理装置和方法、程序以及信息处理系统。该信息处理装置设置有：发送运动图像的发送单元；以及控制单元，其基于与产生自由视点运动图像的成功或失败相关的确定结果使发送单元发送自由视点运动图像或者使发送单元发送真实相机视点运动图像，自由视点运动图像是使用通过多个相机对拍摄的受摄体进行拍摄所产生的多个相机运动图像的具有带有任意位置和取向的视点的运动图像，真实相机视点运动图像是从通过相机对拍摄的受摄体进行拍摄所产生的相机运动图像而产生的具有带有相机的位置和取向的视点的运动图像。该技术可以应用于实时传送自由视点运动图像的实时体积系统。动图像的实时体积系统。动图像的实时体积系统。

Information processing apparatus and method, program, and information processing system

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置和方法、程序以及信息处理系统


[0001]本技术涉及信息处理装置、信息处理方法、程序和信息处理系统，并且更具体地涉及能够给观看自由视点运动图像的用户提供更好的用户体验的信息处理装置、信息处理方法、程序和信息处理系统。

技术介绍

[0002]存在根据从多个视点捕获的运动图像生成受摄体的3D模型并且基于3D模型生成作为根据任意视点位置的运动图像的自由视点运动图像的技术。这样的技术也称为例如体积捕获技术(volumetric capture technology)。
[0003]例如，专利文献1公开了一种通过使用诸如可视外壳(visual hull)的方法来生成3D模型的技术，在该方法中，基于从不同的方向捕获的多个捕获图像来形成受摄体的三维形状。
[0004][引用列表][0005][专利文献][0006]专利文献1：WO 2018/150933 A。

技术实现思路

[0007][本专利技术要解决的问题][0008]存在以下情况：通过体积捕获技术生成的自由视点运动图像被实时传送以允许作为自由视点运动图像中的受摄体出现的用户与观看自由视点运动图像的用户进行通信。
[0009]然而，在并非从多个视点捕获的所有相机运动图像都被正常地传送的情况下，观看侧上(viewing side)可能会显示变形的3D模型的自由视点运动图像或者观看侧上可能不会显示自由视点运动图像。这降低观看自由视点运动图像的用户体验。
[0010]鉴于这样的情况提出本技术，并且其目的是为观看自由视点运动图像的用户提供更好的用户体验。
[0011][问题的解决方案][0012]根据本技术的一个方面的信息处理装置是以下信息处理装置，其包括：传送运动图像的传送单元；以及控制单元，其基于关于是否已经成功地生成自由视点运动图像的确定结果来控制传送单元传送自由视点运动图像或真实相机视点运动图像，自由视点运动图像是通过使用借助于使用多个相机对受摄体进行成像而生成的多个相机运动图像生成的并且从任意位置和方向观看的运动图像，真实相机视点运动图像是从通过使用相机对受摄体进行成像而生成的相机运动图像生成的并且从该相机的位置和方向观看的运动图像。
[0013]根据本技术的一个方面的信息处理方法是以下信息处理方法，在该信息处理方法中：信息处理装置基于关于是否已经成功地生成自由视点运动图像的确定结果，控制传送单元传送自由视点运动图像或真实相机视点运动图像，自由视点运动图像是通过使用借助于使用多个相机对受摄体进行成像而生成的多个相机运动图像生成的并且从任意位置和
方向观看的运动图像，真实相机视点运动图像是从通过使用相机对受摄体进行成像而生成的相机运动图像生成的并且从该相机的位置和方向观看的运动图像，以及根据控制传送自由视点运动图像或真实相机视点运动图像。
[0014]根据本技术的一个方面的程序是用于使计算机执行以下处理的程序：基于关于是否已经成功地生成自由视点运动图像的确定结果，控制传送单元传送自由视点运动图像或真实相机视点运动图像，自由视点运动图像是通过使用借助于使用多个相机对受摄体进行成像而生成的多个相机运动图像生成的并且从任意位置和方向观看的运动图像，真实相机视点运动图像是从通过使用相机对受摄体进行成像而生成的相机运动图像生成的并且从该相机的位置和方向观看的运动图像，以及根据控制传送自由视点运动图像或真实相机视点运动图像。
[0015]根据本技术的一个方面的信息处理系统是以下包括成像装置和信息处理装置的信息处理系统，其中：成像装置包括其中的每个成像单元对受摄体进行成像并且生成相机运动图像的多个成像单元，确定多个成像单元是否已经成功地生成相机运动图像的成像确定单元，以及向信息处理装置传送由多个成像单元生成的多个相机运动图像和由成像确定单元获得的确定结果的信息传送单元；以及信息处理装置包括接收从成像装置传送的多个相机运动图像和确定结果的信息接收单元，传送运动图像的运动图像传送单元，以及基于由信息接收单元接收到的确定结果来控制信息传送单元传送自由视点运动图像或真实相机视点运动图像的控制单元，自由视点运动图像是通过使用由信息接收单元接收到的多个相机运动图像生成的并且从任意位置和方向观看的运动图像，真实相机视点运动图像是通过使用由信息接收单元接收到的相机运动图像生成的并且从成像单元的位置和方向观看的运动图像。
[0016]在根据本技术的一个方面的信息处理装置、信息处理方法和程序中，运动图像被传送，并且传送单元被控制以基于关于是否已经成功地生成自由视点运动图像的确定结果传送自由视点运动图像或真实相机视点运动图像，自由视点运动图像是通过使用借助于使用多个相机对受摄体进行成像而生成的多个相机运动图像生成的并且从任意位置和方向观看的运动图像，真实相机视点运动图像是从通过使用相机对受摄体进行成像而生成的相机运动图像生成的并且从该相机的位置和方向观看的运动图像。
[0017]在根据本技术的一个方面的信息处理系统中，对受摄体进行成像以生成相机运动图像，确定多个成像单元是否已经成功地生成相机运动图像，由多个成像单元生成的多个相机运动图像和由成像确定单元获得的确定结果被传送至信息处理装置，从成像装置传送的多个相机运动图像和确定结果被接收，运动图像被传送，以及信息传送单元被控制以基于由信息接收单元接收到的确定结果传送自由视点运动图像或真实相机视点运动图像，自由视点运动图像是通过使用由信息接收单元接收到的多个相机运动图像生成的并且从任意位置和方向观看的运动图像，真实相机视点运动图像是通过使用由信息接收单元接收到的相机运动图像生成的并且从成像单元的位置和方向观看的运动图像。
附图说明
[0018]图1示出了根据本技术的实施方式的信息处理系统的配置示例。
[0019]图2示出了信息处理系统的传送自由视点运动图像的处理的流程。
[0020]图3示出了相机的布置的示例。
[0021]图4示出了在信息处理系统中发生延迟的示例。
[0022]图5示出了信息处理系统的处理的流程。
[0023]图6示出了运动图像的切换的示例。
[0024]图7示出了自由视点运动图像与真实相机视点运动图像之间的切换条件的示例。
[0025]图8示出了信息处理系统中的信息的流动的示例。
[0026]图9是示出捕获系统的功能配置示例的框图。
[0027]图10示出了相机的数目的示例。
[0028]图11是示出服务器的功能配置示例的框图。
[0029]图12是示出观看装置的功能配置示例的框图。
[0030]图13是示出由捕获系统、服务器和观看装置执行的处理的流程的顺序图。
[0031]图14是示出运动图像切换处理#1的流程图。
[0032]图15是示出运动图像切换处理#2的流程图。
[0033]图16是示出运动图像切换处理#3的流程图。
[0034]图17示出了信息处理系统中的信息的流动的另一示例。
[0035]图18是示出捕获本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，包括：传送运动图像的传送单元；以及控制单元，其基于关于是否已经成功地生成自由视点运动图像的确定结果来控制所述传送单元传送所述自由视点运动图像或真实相机视点运动图像，所述自由视点运动图像是通过使用借助于使用多个相机对受摄体进行成像而生成的多个相机运动图像生成的并且从任意位置和方向观看的运动图像，所述真实相机视点运动图像是从通过使用相机对所述受摄体进行成像而生成的相机运动图像生成的并且从所述相机的位置和方向观看的运动图像。2.根据权利要求1所述的信息处理装置，其中，所述控制单元进行以下操作：在确定在所述自由视点运动图像的生成中没有发生延迟作为所述确定结果的情况下，使所述传送单元传送所述自由视点运动图像，以及在确定在所述自由视点运动图像的生成中发生延迟作为所述确定结果的情况下，使所述传送单元传送所述真实相机视点运动图像。3.根据权利要求2所述的信息处理装置，还包括：确定在所述自由视点运动图像的生成中是否发生延迟的生成确定单元，其中，所述控制单元进行以下操作：在所述生成确定单元确定在所述自由视点运动图像的生成中没有发生延迟的情况下，使所述传送单元传送所述自由视点运动图像，以及在所述生成确定单元确定在所述自由视点运动图像的生成中发生延迟的情况下，使所述传送单元传送所述真实相机视点运动图像。4.根据权利要求1所述的信息处理装置，其中，所述控制单元进行以下操作：在确定所述多个相机运动图像的编码数据已经被成功地解码作为所述确定结果的情况下，使所述传送单元传送所述自由视点运动图像，以及在确定所述多个相机运动图像的编码数据中的至少一个编码数据未被解码作为所述确定结果的情况下，使所述传送单元传送所述真实相机视点运动图像。5.根据权利要求4所述的信息处理装置，还包括：确定所述多个相机运动图像的编码数据是否已经被成功地解码的解码确定单元，其中，所述控制单元进行以下操作：在所述解码确定单元确定所述多个相机运动图像的编码数据已经被成功地解码的情况下，使所述传送单元传送所述自由视点运动图像，以及在所述解码确定单元确定所述多个相机运动图像的编码数据中的至少一个编码数据未被解码的情况下，使所述传送单元传送所述真实相机视点运动图像。6.根据权利要求1所述的信息处理装置，其中，所述控制单元进行以下操作：在确定在用于生成所述自由视点运动图像的所述多个相机运动图像的接收中没有发生延迟作为所述确定结果的情况下，使所述传送单元传送所述自由视点运动图像，以及
在确定在用于生成所述自由视点运动图像的所述多个相机运动图像中的至少一个相机运动图像的接收中发生延迟作为所述确定结果的情况下，使所述传送单元传送所述真实相机视点运动图像。7.根据权利要求6所述的信息处理装置，还包括：确定在所述多个相机运动图像的接收中是否发生延迟的接收确定单元，其中，所述控制单元进行以下操作：在所述接收确定单元确定在所述多个相机运动图像的接收中没有发生延迟的情况下，使所述传送单元传送所述自由视点运动图像，以及在所述接收确定单元确定在所述多个相机运动图像中的至少一个相机运动图像的接收中发生延迟的情况下，使所述传送单元传送所述真实相机视点运动图像。8.根据权利要求1所述的信息处理装置，还包括：通过使用所述多个相机运动图像来生成所述自由视点运动图像的自由视点运动图像生成单元，其中，所述控制单元基于所述确定结果控制所述传送单元传送由所述自由视点运动图像生成单元生成的所述自由视点运动图像或生成所述真实相机视点运动图像。9.根据权利要求8所述的信息处理装置，其中，在所述控制单元使所述传送单元传送所述真实相机视点运动图像之前，所述自由视点运动图像生成单元在所述控制单元的控制下生成其中视点移动以接近所述真实相机视点运动图像的视点的所述自由视点运动图像。10.根据权利要求8所述的信息处理装置，还包括：对所述多个相机运动图像的编码数据进行解码以复原所述多个相机运动图像的解码单元，其中，所述自由视点运动图像生成单元通过使用由所述解码单元复原的所述多个相机运动图像来生成所述自由视点运动图像。11.根据权利要求10所...

【专利技术属性】
技术研发人员：菅野尚子，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：