信息处理设备、3D模型生成方法及程序技术

编码设备(40a)(信息处理设备)的第一层深度图生成单元(131)(距离获取单元)基于被摄体(90)的表面的3D形状来获取投影点(Q)与第一点(P1)之间的第一距离(d1)，从投影点(Q)延伸到被摄体(90)的直线在该第一点处与被摄体(90)接触。第二层深度图生成单元(132)(距离获取单元)基于被摄体(90)的表面的3D形状来获取投影点(Q)与第二点(P2)之间的第二距离(d2)，从第一点(P1)延伸并进入被摄体(90)的内部的直线在该第二点从被摄体(90)出来。在该第二点从被摄体(90)出来。在该第二点从被摄体(90)出来。

【技术实现步骤摘要】
【国外来华专利技术】信息处理设备、3D模型生成方法及程序


[0001]本公开内容涉及信息处理设备、3D模型生成方法和程序。

技术介绍

[0002]传统上，已经提出了一种通过使用通过感测真实3D空间获得的信息，例如，通过使用通过从不同视点对被摄体成像获得的多视图视频，在观看空间中生成3D对象以生成对象看起来好像对象位于观看空间中的视频(体积视频)的方法。
[0003]体积视频的生成需要关于三维空间的坐标信息。例如，在专利文献1中，基于指示从摄像装置到被摄体表面的距离的深度图来获得被摄体的3D形状。
[0004]引文列表
[0005]专利文献
[0006]专利文献1：WO 2018/074252 A

技术实现思路

[0007]技术问题
[0008]然而，在专利文献1中，仅可以获得被摄体的面对摄像装置的前表面，即，被摄体的前表面侧的3D形状。因此，需要基于从被摄体的背表面侧捕获的深度图来获得被摄体的背表面侧的3D形状。
[0009]因此，存在难以生成被摄体的准确形状的问题。
[0010]本公开内容提出了一种信息处理设备、3D模型生成方法和程序，其被配置成生成被摄体的准确形状。
[0011]问题的解决方案
[0012]为了解决上述问题，根据本公开内容的实施方式的信息处理设备包括：距离获取单元，其基于被摄体的表面的3D形状，获取投影点与第一点之间的第一距离以及投影点与第二点之间的第二距离，从投影点延伸到被摄体的直线在该第一点处与被摄体接触，从第一点延伸进入被摄体的内部的直线从该第二点贯穿到被摄体的外部。
附图说明
[0013]图1是示出根据第一实施方式的信息处理系统的示意性配置的框图。
[0014]图2是示出成像设备的示例的图。
[0015]图3是示出由信息处理系统执行的处理的示例的流程图。
[0016]图4是示出信息处理系统的硬件配置的示例的硬件框图。
[0017]图5是示出编码单元的功能配置的示例的功能框图。
[0018]图6是示出生成深度图的方法的图。
[0019]图7是示出第一层深度图和第二层深度图的经量化深度值的图。
[0020]图8是示出第一层深度图和第二层深度图的示例的图。
[0021]图9是示出由平铺单元生成的图像的示例的图。
[0022]图10是示出解码单元的功能配置的示例的功能框图。
[0023]图11是示出由深度有效区域确定单元从每个深度图读取深度值的方法的图。
[0024]图12是示出由深度有效区域确定单元确定深度值的有效性/无效性的方法的图。
[0025]图13是示出由深度有效区域确定单元执行的处理的示例的流程图。
[0026]图14是示出在每个深度图上设置的三角形图块(patch)的图。
[0027]图15是示出各个三角形图块的有效点的数目的图。
[0028]图16是示出顶点坐标改变处理的图。
[0029]图17是示出如何生成关于被摄体的三维网格数据的示意图。
[0030]图18是示出由三角形图块生成单元执行的网格数据生成处理的示例的流程图。
[0031]图19是示出渲染单元的功能配置的示例的功能框图。
[0032]图20是示出第二实施方式中的由平铺单元生成的待编码的图像的示例的图。
[0033]图21是示出第二实施方式的解码单元和渲染单元的功能配置的示例的功能框图。
[0034]图22是示出可见性确认的图。
[0035]图23是示出根据第三实施方式的信息处理系统的功能的图。
[0036]图24是示出根据第四实施方式的信息处理系统的功能的图。
具体实施方式
[0037]下面将参照附图详细描述本公开内容的实施方式。注意，在以下实施方式中，相同的部分由相同的附图标记或符号表示，并且将省略其重复描述。
[0038]此外，将按照以下所示项目的顺序描述本公开内容。
[0039]1.第一实施方式
[0040]1‑
1.信息处理系统的功能配置
[0041]1‑
2.由信息处理系统执行的处理
[0042]1‑
3.信息处理系统的硬件配置
[0043]1‑
4.编码单元的详细配置
[0044]1‑
5.解码单元的详细配置
[0045]1‑
6.深度有效性确定处理
[0046]1‑
7.网格数据生成处理
[0047]1‑
8.渲染单元的详细配置
[0048]1‑
9.第一实施方式的修改例
[0049]1‑
10.第一实施方式的效果
[0050]2.第二实施方式
[0051]2‑
1.平铺图像的配置
[0052]2‑
2.可见性确认
[0053]2‑
3.第二实施方式的效果
[0054]3.第三实施方式
[0055]3‑
1.第三实施方式的功能
[0056]3‑
2.第三实施方式的效果
[0057]4.第四实施方式
[0058]4‑
1.第四实施方式的功能
[0059]4‑
2.第四实施方式的效果
[0060]5.本公开内容的应用示例
[0061]5‑
1.内容的制作
[0062]5‑
2.虚拟空间中的体验
[0063]5‑
3.与远程位置通信的应用
[0064]5‑
4.其他方面
[0065](1.第一实施方式)
[0066][1
‑
1.信息处理系统的配置][0067]首先，将参照图1描述应用本公开内容的信息处理系统10a的概述。图1是示出根据第一实施方式的信息处理系统的示意性配置的框图。
[0068]如图1所示，信息处理系统10a包括数据获取单元11、3D模型生成单元12、编码单元13a、发送单元14、接收单元15、解码单元16a、渲染单元17a和显示单元18。
[0069]数据获取单元11获取用于生成作为要成像的对象的被摄体90的3D模型90M的图像数据。例如，如图2所示，获取由被布置成包围被摄体90的多个成像装置70(70a、70b、...)捕获的多个视点图像作为图像数据。在该配置中，优选地多个视点图像是由多个摄像装置彼此同步地捕获的图像。此外，例如，数据获取单元11可以获取通过移动一个摄像装置从多个视点捕获被摄体的图像获得的图像数据。注意，数据获取单元11可以基于图像数据来执行校准以获取每个成像设备的内部参数和外部参数。此外，例如，数据获取单元11可以获取指示从多个视点到被摄体90的距离的多条深度信息。
[0070]3D模型生成单元12基于用于生成被摄体90的3D模型90M的图像数据来生成具有关于被摄体的三维信息的模型。例如，3D本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理设备，包括：距离获取单元，其基于被摄体的表面的3D形状来获取投影点与第一点之间的第一距离以及所述投影点与第二点之间的第二距离，从所述投影点延伸到所述被摄体的直线在所述第一点处与所述被摄体接触，从所述第一点延伸进入所述被摄体的内部的直线从所述第二点贯穿到所述被摄体的外部。2.根据权利要求1所述的信息处理设备，其中，所述距离获取单元：当不存在所述第一点时，获取预定的第一距离值作为所述第一距离，并且当不存在所述第二点时，获取小于所述第一距离值的预定的第二距离值作为所述第二距离。3.根据权利要求2所述的信息处理设备，所述距离获取单元：将所述第一距离值和所述第二距离值设置为相等的值。4.根据权利要求1所述的信息处理设备，还包括：发送单元，所述发送单元将由所述距离获取单元获取的所述第一距离和所述第二距离彼此相关联地发送至用于重构被摄体的三维形状的解码设备。5.根据权利要求1所述的信息处理设备，还包括：颜色/距离获取单元，所述颜色/距离获取单元彼此相关联地获取从多个投影点观看的被摄体的纹理信息、以及从与从其获取到所述纹理信息的投影点相同的多个投影点观看的第一距离。6.根据权利要求1所述的信息处理设备，其中，所述距离获取单元针对被摄体被分解成的各对象，分别获取距同一投影点的所述第一距离和所述第二距离。7.根据权利要求1所述的信息处理设备，其中，所述距离获取单元针对被摄体被分解成的各对象，分别获取距彼此不同的投影点的所述第一距离和所述第二距离。8.一种信息处理设备，包括：区域确定单元，所述区域确定单元：基于被摄体的表面的3D形状，获取投影点与第一点之间的第一距离，从所述投影点延伸到所述被摄体的直线在所述第一点处与所述被摄体接触，或者在不存在所述第一点时，获取预定的第一距离值作为所述第一距离；获取所述投影点与第二点之间的第二距离，从所述第一点延伸进入所述被摄体的内部的直线从所述第二点处贯穿到所述被摄体的外部，或者在不存在所述第二点时，获取小于所述第一距离值的预定的第二距离值作为所述第二距离；以及基于所述第一距离与所述第二距离之间的大小关系来识别所述被摄体的区域。9.根据权利要求8所述的信息处理设备，还包括：封闭空间生成单元，所述封闭空间生成单...

【专利技术属性】
技术研发人员：泉伸明，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：