本发明专利技术的实施例描述了与对象和/或环境的数据捕捉有关的装置、系统以及方法。在一个实施例中，用户可以使用一个或多个便携式数据捕捉设备来捕捉带时间索引三维（3D）深度数据，所述便携式数据捕捉设备可以用深度信息、位置和定向数据来捕捉场景的带时间索引颜色图像。另外，数据捕捉设备还可被配置成捕捉在数据捕捉设备周围的环境的球面视图。
【技术实现步骤摘要】
【国外来华专利技术】
本公开一般地涉及环境或对象的数据捕捉领域，并且特别是真实三维(3D)深度视频。
技术介绍
在无数的情况下使用对象或环境的数据捕捉，并且其可以使得处理器能够使用、作用于或操纵所捕捉的数据来创建对象和/或环境的图像。例如，照相机可以捕捉场景的静止二维(2D)图像，并且摄像机可以捕捉视频数据(即，随时间推移的2D数据)以用于稍后编辑和显示。另外，可以使用聚焦在对象周围的多视图立体2D图像来模拟对象的3D图像。可以用来模拟3D图像的数据捕捉的另一示例涉及到光检测与测距(LiDAR)(也称为激光检测与测距(LADAR))传感器，其一般地被用于对地形或建筑物进行绘图。LiDAR将来自光源的光指引到将光反射回到接收机的表面处。LiDAR系统然后将基于光的往返时间(称为“飞行时间”(TOF)数据)来计算从光源到表面的距离。这样，可以用LiDAR系统来捕捉关于环境中的对象的距离或深度的数据。LiDAR通过跨环境扇出或用脉冲发射其射束并测量用于将光反射回到LiDAR系统中的接收机的每个对象的飞行时间来收集数千个数据点。LiDAR仅能确定将光反射回到接收机的对象的深度，而不能检测关于颜色的图像数据。LiDAR及其它类型的TOF照相机处于在本文称为“深度照相机”的照相机类别中。深度照相机的其它示例包括可以确定深度信息的任何设备，诸如立体照相机、结构光扫描仪或发射电磁(EM)辐射并捕捉被反射回来的辐射的飞行时间的其它设备。用于捕捉成像数据的现有技术具有限制或缺点。例如，包括胶片、数字摄影以及全景2D摄影(即柱面或立方体交互式全景)的2D文档介质的当前手段在当被用户或观看者访问时传达整体的真实生活体验或事件方面具有限制。2D图像可能具有优良的分辨率和颜色，但不具有与图像相关联的深度信息。可以以各种方式来创建模拟3D图像。通常，使用两个间隔开的透镜来记录图像，其从略有不同的角度记录场景，并且这些图像被提供给人，使得诸如通过使用具有滤色器或不同偏振的眼镜来不同地向每只眼睛呈现该信息。如2D图像的情况一样，颜色和分辨率可以是极佳的，并且这些立体图像的3D效果可以是引人注目的，然而，此类系统仍缺少收集场景的深度信息的能力。可将由深度照相机捕捉的信息与2D照相机的图像数据组合以提供模拟3D且包含深度信息的图像。例如，可将LiDAR图像与来自重叠2D图像的数据组合以用深度数据来模拟3D图像一一亦即，该图像数据包含图像中的对象距离的信息，并且具有计算图像中的对象的尺寸和相对间距的能力。无论是立体照相机还是与2D照相机组合的深度照相机，当前3D成像系统都使用单个照相机，其在给定时间记录单个视点(POV)以收集表示单个静态时刻的数据。使用单个照相机可以导致所收集3D数据中的间隙。例如，从单个角度捕捉具有树的场景的单个照相机不能捕捉在树后面的东西。用于在用单个照相机来捕捉场景时减少数据间隙的当前方法要求记录单个照相机视点并将照相机重新定位多次的冗长过程。一旦通过用单个照相机进行的重新定位和捕捉的多个会话来捕捉场景，则必须有广泛的辅助后处理以对多次扫描进行配准并组织所捕捉的数据。除要求大量的时间(由于例如所使用的算法和大量的数据)之外，此类后处理一般地要求广泛的用户输入和用户的技术知识。除组织用这些3D照相机捕捉的数据所要求的广泛后处理之外，可能要求附加后处理以便再现数据，包括通过数字模型配置的数字图形内插、矢量化和/或图像模型构建。构建数据云以表示其中深度照相机移动的环境要求照相机具有用以跟踪其移动和位置或与远程部件通信以便跟踪照相机的移动的部件。这在其中必须映射环境使得机器人能够对其环境进行导航的移动机器人技术中是常见的问题。同样地，在使用数据来创建沉浸式环境的情况下，照相机必须跟踪其位置，并且将该信息标记成图像数据。这种技术一般地称为同时定位与地图创建(SLAM ) ο【附图说明】参考以下各图来描述本专利技术的非限制性且非排他性实施例，其中，除非另外指明，遍及各视图中相同的附图标记指示相同部分。应认识到的是以下各图可能不按比例描绘。图1是根据本专利技术的实施例的系统的框图以及场景。图2是根据本专利技术的一个实施例的数据捕捉设备的等距视图。图3是根据本专利技术的一个实施例的具有多个深度照相机的平台的平面图。图4a_4e图示出根据本专利技术的一个实施例的使用LiDAR的深度照相机的示例性图。图5是根据本专利技术的一个实施例的组合深度照相机和图像照相机的示例性图。图6是根据本专利技术的一个实施例的系统图。图7是根据本专利技术的一个实施例的收集环境和环境中的对象的深度和图像数据的方法的流程图。图8是根据本专利技术的一个实施例的计算机系统的示例性形式中的机器的框图。随后是某些细节和实施方式的描述，包括图的描述，其可描述下述某些或所有实施例以及讨论本文提出的专利技术概念的其它潜在实施例或实施方式。下面提供本专利技术的实施例的概述，后面是参考附图的更详细描述。【具体实施方式】在本文描述了与对象和/或环境的数据捕捉有关的装置、系统以及方法的实施例。在本专利技术的一个实施例中，用户可以容易地、快速地且用系统的最少技术知识来捕捉真实3D深度视频数据，其中，将3D深度视频数据理解为带时间索引3D深度数据或四维(4D)带时间索引空间数据。捕捉3D深度视频数据使得能够实现沉浸式且动态的3D数字环境，其中，用户可以随着3D环境随时间改变对其进行探索。还可以将能够捕捉3D深度视频数据的数据捕捉设备称为真实3D深度摄像机。3D深度视频数据的捕捉和可视化可以使得能够实现倒退虚拟时间旅行、虚拟现实或增强现实的概念，使得用户可以实时地(例如，用于电话会议或其它实时交互)或通过所存储的数据来体验所捕捉事件、环境或其它体验并与之相交互。根据一个实施例，用来捕捉环境的3D深度摄像机系统创建原始文件，其可在不要求后处理建模和/或再现的情况下显示。用户可以出于重建或分析的目的而捕捉事件，包括但不限于:体育赛事、音乐会、讨论会、聚会、教育性演示、历史事件、考古或文化遗产地、徒步旅行行踪、机械或物理故障、被监视地点或任何其它环境或事件。例如，如果用户捕捉到其中在房间的不同部分中同时地发生多个演讲的会议，则可以以数字方式显示该会议，使得用户可以在3D环境的一个部分中体验到一个演讲，并且通过虚拟地过渡到房间的另一侧以体验另一演讲来自由地探索3D环境。第二示例将是音乐表演的示例，其中，用户可以从在所捕捉场景范围内的观众的方位、在舞台上的方位或者从一个或多个音乐家他们自己的视点出发体验该事件。在以下描述中，阐述了许多特定细节以便提供实施例的透彻理解。然而，相关领域的技术人员将认识到可以在没有该特定细节中的一个或多个的情况下或用其它方法、部件、材料等来实施本文所述的技术。在其它情况下，并未示出或详细地描述众所周知的结构、材料或操作以避免模糊某些方面。遍及本说明书对“一个实施例”或“实施例”的参考意指在本专利技术的至少一个实施例中包括结合该实施例所述的特定特征、结构或特性。因此，短语“在一个实施例中”或“在实施例中”在遍及本说明书的不同位置上的出现不一定全部指的是同一实施例。此外，可在一个或多个实施例中以任何适当方式将特定特征、结构或特性进行组合。图1是根据本专利技术的实施例的系统的框图和正被捕捉的场景。如图1中所示，系统100包括多本文档来自技高网...
【技术保护点】
一种承载一个或多个指令序列的机器可读存储介质，所述一个或多个指令序列在被一个或多个处理器执行时促使所述一个或多个处理器执行收集环境和所述环境中的对象的深度和图像数据的方法，所述方法包括：从包括第一深度照相机的第一数据捕捉设备接收第一带时间索引深度数据，第一带时间索引深度数据包括在一段时间上的从第一深度照相机到对象的第一表面的第一系列距离测量结果；从包括第二深度照相机的第二数据捕捉设备接收第二带时间索引深度数据，第二带时间索引深度数据包括在所述时间段上的从第二深度照相机到对象的第二表面的第二系列距离测量结果；在所述时间段期间接收第一数据捕捉设备的第一位置数据；在所述时间段期间接收第二数据捕捉设备的第二位置数据；接收指示第一数据捕捉设备和第二数据捕捉设备相对之间如何定位的相对位置数据；基于第一位置数据、第二位置数据以及相对位置数据来使第一带时间索引深度数据和第二带时间索引深度数据与坐标系中的坐标相关联；以及将包括具有所关联坐标的第一带时间索引深度数据和第二带时间索引深度数据在内的带时间索引三维（3D）深度数据存储到电子存储器。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：MR米勒特，
申请(专利权)人：广稹阿马斯公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。