使用半球形或球形可见光深度图像的三维建模制造技术

三维建模包括获得半球形可见光深度图像(该半球形可见光深度图像捕获用户设备的操作环境)，生成视角转换的半球形可见光深度图像，基于视角转换的半球形可见光深度图像生成操作环境的三维模型，以及输出三维模型。获得半球形可见光深度图像包括获得半球形可见光图像和获得半球形不可见光深度图像。生成视角转换的半球形可见光深度图像包括生成视角转换的半球形可见光图像和生成视角转换的半球形不可见光深度图像。不可见光深度图像。不可见光深度图像。

【技术实现步骤摘要】
【国外来华专利技术】使用半球形或球形可见光深度图像的三维建模
相关申请的交叉引用
[0001]本申请要求于2019年3月27日递交的美国申请No.62/824,635的优先权。


[0002]本公开涉及用户设备中的三维(three
‑
dimensional，3D)建模，例如使用半球形或球形可见光深度图像的三维建模。

技术介绍

[0003]相机可以用于捕获图像或视频、物体检测和跟踪、面部识别等。因此，用于使用半球形或球形可见光深度图像的三维建模的方法和装置可以是有益的。

技术实现思路

[0004]本文公开了使用半球形或球形可见光深度图像的三维建模的实施方式。
[0005]本文公开的一个方面是使用半球形或球形可见光深度图像的三维建模的方法。使用半球形或球形可见光深度图像的三维建模包括获得半球形可见光深度图像，该半球形可见光深度图像捕获用户设备的操作环境。获得半球形可见光深度图像包括获得半球形可见光图像以及获得半球形不可见光深度图像。使用半球形或球形可见光深度图像的三维建模包括生成视角转换的半球形可见光深度图像。生成视角转换的半球形可见光深度图像包括生成视角转换的半球形可见光图像以及生成视角转换的半球形不可见光深度图像。使用半球形或球形可见光深度图像的三维建模包括基于上述视角转换的半球形可见光深度图像生成上述操作环境的三维模型以及输出该三维模型。
[0006]本文公开的另一方面是用于使用半球形或球形可见光深度图像的三维建模的装置。该装置包括半球形不可见光投射器、半球形不可见光传感器、半球形可见光传感器、非暂时性计算机可读介质、以及处理器，该处理器用于执行存储在非暂时性计算机可读介质上的指令，以获得半球形可见光深度图像，该半球形可见光深度图像捕获该装置的操作环境。获得上述半球形可见光深度图像包括控制上述半球形可见光传感器获得半球形可见光图像，控制上述半球形不可见光投射器投射半球形不可见光静态结构光图案，响应于控制所述半球形不可见光投射器投射所述半球形不可见光静态结构光图案，控制上述半球形不可见光传感器获得半球形不可见光深度图像，以及生成视角转换的半球形可见光深度图像。生成视角转换的半球形可见光深度图像包括生成视角转换的半球形可见光图像以及生成视角转换的半球形不可见光深度图像。该处理器用于执行存储在非暂时性计算机可读介质上的指令，以基于上述视角转换的半球形可见光深度图像生成上述操作环境的三维模型并输出该三维模型。
[0007]本文公开的另一方面是一种非暂时性计算机可读存储介质，包括可执行指令，当该可执行指令由处理器执行时，使得执行使用半球形或球形可见光深度图像的三维建模，包括获得半球形可见光深度图像，该半球形可见光深度图像捕获用户设备的操作环境。获
得半球形可见光深度图像包括获得半球形可见光图像以及获得半球形不可见光深度图像。使用半球形或球形可见光深度图像的三维建模包括生成视角转换的半球形可见光深度图像。生成视角转换的半球形可见光深度图像包括生成视角转换的半球形可见光图像以及生成视角转换的半球形不可见光深度图像。使用半球形或球形可见光深度图像的三维建模包括基于上述视角转换的半球形可见光深度图像生成上述操作环境的三维模型以及输出该三维模型。
附图说明
[0008]在结合附图阅读时可以从以下具体实施方式更好地理解本公开。需要强调，按照惯例，附图的各种特征并非按比例绘制。相反，为了清楚起见，各种特征的尺寸被任意放大或缩小。
[0009]图1示出了根据本公开的用于数字计算和电子通信的用户设备的示例。
[0010]图2示出了根据本公开的用于鱼眼不可见光深度检测的系统的框图。
[0011]图3示出了根据本公开的半球形鱼眼不可见光深度检测设备的示例的示意图。
[0012]图4示出了根据本公开的半球形鱼眼不可见光深度检测设备的另一示例的示意图。
[0013]图5示出了根据本公开的半球形鱼眼不可见光投影单元的示例的示意图。
[0014]图6示出了根据本公开的半球形鱼眼不可见光检测单元的示例的示意图。
[0015]图7示出了根据本公开的半球形鱼眼不可见泛光投影单元的示例的示意图。
[0016]图8示出了根据本公开的球形鱼眼不可见光深度检测设备的示例的示意图。
[0017]图9示出了根据本公开的球形鱼眼不可见光深度检测设备的另一示例的示意图。
[0018]图10示出了根据本公开的球形鱼眼不可见光投影单元的示例的示意图。
[0019]图11示出了根据本公开的球形鱼眼不可见光检测单元的示例的示意图。
[0020]图12示出了根据本公开的鱼眼不可见光深度检测的示例的示意图。
[0021]图13是根据本公开的使用半球形或球形可见光深度图像的三维建模的示例的示意图。
具体实施方式
[0022]诸如摄像机之类的光传感器可以用于多种目的，包括捕获图像或视频、对象检测和跟踪、面部识别等。广角或超广角镜头(例如鱼眼镜头)使摄像机能够捕获全景或半球形场景。沿光轴的相反方向布置的双鱼眼镜头摄像机使摄像机设备能够捕获球形图像。
[0023]在一些系统中，诸如摄像机之类的可见光传感器用于确定对应于摄像机设备与所捕获的场景中各个外部对象之间的距离的深度信息。例如，一些摄像机实现了立体视觉或双目深度检测，其中，评估由空间上分离的多个摄像机捕获的多个重叠图像，以基于图像捕获的内容之间的差异确定深度。包括多个摄像机和计算成本在内的资源成本可能很高，并且双目深度检测的精度可能受到限制。摄像机的三维深度检测能力可能受限于各个视场。
[0024]球形或半球形不可见光深度检测可以通过以下方式提高非半球形深度检测和可见光深度检测的精度和效率：投射诸如红外光之类的不可见光、球形或半球形静态点云图案，使用球形或半球形不可见光检测器检测反射的不可见光，并基于对应于投射的静态点
云图案的接收到的光的函数确定三维深度。
[0025]表示用户设备的操作环境的三维地图或模型可以用于例如增强现实或虚拟现实实现。生成使用由具有有限视场(例如直线视场或小于半球形的视场)的摄像机捕获的图像生成的三维地图或模型可能是低效且不准确的。例如，使用由具有有限视场(例如直线视场或小于半球形的视场)的摄像机捕获的图像生成三维地图或模型可以包括：使用多个图像捕获单元或随时间在一系列位置中(例如手动)放置图像捕获单元来生成多个图像，并且合并这多个图像以低效且不准确地生成模型。
[0026]使用半球形或球形可见光深度图像的三维建模(可以包括鱼眼深度检测)相对于基于有限图像(例如直线图像或小于半球形的图像)的三维建模可以提高三维建模的效率、速度、精度。使用半球形或球形可见光深度图像的三维建模可以使用更少的图像并且可以包括更少的图像拼接操作。使用半球形或球形可见光深度图像的三维建模可以提高每个图像的特征信息的有效性。
[0027]虽然结合了某些实施例描述了本公开，但是应理解，本公开不限于所公开的实施例，相反地，旨在涵盖包括在所本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种三维建模方法，所述方法包括：获得半球形可见光深度图像，所述半球形可见光深度图像捕获用户设备的操作环境，其中，获得所述半球形可见光深度图像包括：获得半球形可见光图像；以及获得半球形不可见光深度图像；生成视角转换的半球形可见光深度图像，其中，生成所述视角转换的半球形可见光深度图像包括：生成视角转换的半球形可见光图像；以及生成视角转换的半球形不可见光深度图像；基于所述视角转换的半球形可见光深度图像生成所述操作环境的三维模型；以及输出所述三维模型。2.根据权利要求1所述的方法，其中，所述半球形可见光图像和所述半球形不可见光深度图像是时空同步的。3.根据权利要求1所述的方法，其中，获得所述半球形不可见光深度图像包括：投射半球形不可见光；响应于投射所述半球形不可见光，检测反射的不可见光；以及基于检测到的反射的不可见光和投射的所述半球形不可见光，确定三维深度信息。4.根据权利要求3所述的方法，其中，投射所述半球形不可见光包括投射半球形不可见光静态结构光图案。5.根据权利要求4所述的方法，其中，投射所述半球形不可见光静态结构光图案包括：从红外光源发射红外光；将发射的所述红外光折射以形成半球形投射场；以及校准所述半球形投射场的所述红外光，以形成所述半球形不可见光静态结构光图案。6.根据权利要求1所述的方法，其中，生成所述三维模型包括：通过基于所述视角转换的半球形可见光深度图像执行特征提取，获得特征信息。7.根据权利要求6所述的方法，其中，获得所述半球形可见光深度图像包括获得半球形可见光深度图像序列，所述半球形可见光深度图像序列包括所述半球形可见光深度图像，其中，所述半球形可见光深度图像序列中的每个半球形可见光深度图像对应于所述操作环境中的相应时空位置；以及生成所述视角转换的半球形可见光深度图像包括生成视角转换的半球形可见光深度图像序列，其中，所述视角转换的半球形可见光深度图像序列包括所述视角转换的半球形可见光深度图像，并且其中，所述半球形可见光深度图像序列中的每个相应的视角转换的半球形可见光深度图像对应于所述半球形可见光深度图像序列中的相应的半球形可见光深度图像。8.根据权利要求7所述的方法，其中，获得所述特征信息包括，获得与所述视角转换的半球形可见光深度图像序列中的每个相应的视角转换的半球形可见光深度图像对应的特征信息。9.根据权利要求8所述的方法，其中，生成所述三维模型包括：基于与所述视角转换的半球形可见光深度图像序列中的每个相应的视角转换的半球
形可见光深度图像对应的特征信息，生成优化的位姿图；以及基于所述优化的位姿图和所述视角转换的半球形可见光深度图像序列生成所述三维模型。10.一种非暂时性计算机可读存储介质，包括可执行指令，当所述可执行指令由处理器执行时，使所述处理器执行操作，所述操作包括：获得半球形可见光深度图像，所述半球形可见光深度图像捕获用户设备的操作环境，其中，获得所述半球形可见光深度图像包括：获得半球形可见光图像；以及获得半球形不可见光深度图像；生成视角转换的半球形可见光深度图像，其中，生成所述视角转换的半球形可见光深度图像包括：生成视角转换的半球形可见光图像；以及生成视角转换的半球形不可见光深度图像；基于所述视角转换的半球形可见光深度图像生成所述操作环境的三维模型；以及输出所述三维模型。11.根据权利要求10所述的非暂时性计算机可读存储介质，其中，所述半球形可见光图像和所述半球形不可见光深度图像是时空同步的。12.根据权利要求10所述的非暂时性计算机可读存储介质，其中，获得所述半球形不可见光深度图像包括：投射半球形不可见光；响应于投射所述半球形不可见光，检测反射的不可见光；以及基于检测到的反射的不可见光和投射的所述半球形不可见光，确定三维深度信息。13.根据权利要求12所述的非暂时性计算机可读存储介质，其中，投射所述半球形不可见光包括投射半球形不可见光静态结构光图案。14.根据权利要求13所述的非暂时...

【专利技术属性】
技术研发人员：林袁，邓凡，何朝文，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：