【技术实现步骤摘要】
【国外来华专利技术】
本公开内容总体上涉及用于基于单个视频来构建三维(3d)模型的系统和技术。
技术介绍
1、许多设备和系统允许通过生成场景的帧(也称为图像)和/或视频数据(包括多个图像或帧)来捕获场景。例如，相机或包括相机的计算设备(例如，包括一个或多个相机的移动设备，诸如移动电话或智能电话)可以捕获场景的帧序列。帧和/或视频数据可以由此类设备和系统(例如，移动设备、ip相机等)捕获和处理，并且可被输出以供消费(例如，显示在设备和/或其他设备上)。在一些情况中，帧和/或视频数据可以由此类设备和系统捕获并输出以供其他设备处理和/或消费。
2、可以对帧进行处理(例如，使用对象检测、识别、分割等)以确定帧中存在的对象，这对于许多应用而言可能是有用的。例如，可以确定用于表示帧中的对象的模型，并且该模型可以用于促进各种系统的有效操作。除了许多其他应用和系统之外，此类应用和系统的示例还包括：增强现实(ar)、机器人、汽车和航空、三维场景理解、对象抓取、对象跟踪。
技术实现思路
1、在一些示例中，本文描述了用于生成一个或多个模型的系统和技术。根据至少一个示例，一种用于生成一个或多个模型的过程包括：基于描绘对象的一个或多个帧来生成所述对象的第一部分的三维(3d)模型；针对所述一个或多个帧生成掩膜，所述掩膜包括所述对象的一个或多个区域的指示；基于所述对象的所述第一部分的所述3d模型和所述掩膜来生成3d基础模型，所述3d基础模型表示所述对象的所述第一部分和所述对象的第二部分；以及基于所述掩膜和所述3d基础模型
2、在另一示例中，提供了一种用于生成一个或多个模型的装置，所述装置包括存储器(例如，其被配置为存储数据，诸如虚拟内容数据、一个或多个图像等)以及耦合到所述存储器的一个或多个处理器(例如，其在电路中实现)。所述一个或多个处理器被配置为并且能够：基于描绘对象的一个或多个帧来生成所述对象的第一部分的三维(3d)模型；针对所述一个或多个帧生成掩膜，所述掩膜包括所述对象的一个或多个区域的指示；基于所述对象的所述第一部分的所述3d模型和所述掩膜来生成3d基础模型，所述3d基础模型表示所述对象的所述第一部分和所述对象的第二部分；以及基于所述掩膜和所述3d基础模型来生成所述对象的所述第二部分的3d模型。
3、在另一示例中，提供了一种非暂时性计算机可读介质，其具有存储在其上的指令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器：基于描绘对象的一个或多个帧来生成所述对象的第一部分的三维(3d)模型；针对所述一个或多个帧生成掩膜，所述掩膜包括所述对象的一个或多个区域的指示；基于所述对象的所述第一部分的所述3d模型和所述掩膜来生成3d基础模型，所述3d基础模型表示所述对象的所述第一部分和所述对象的第二部分；以及基于所述掩膜和所述3d基础模型来生成所述对象的所述第二部分的3d模型。
4、在另一示例中，提供了一种用于生成一个或多个模型的装置。所述装置包括：用于基于描绘对象的一个或多个帧来生成所述对象的第一部分的三维(3d)模型的单元；用于针对所述一个或多个帧生成掩膜的单元，所述掩膜包括所述对象的一个或多个区域的指示；用于基于所述对象的所述第一部分的所述3d模型和所述掩膜来生成3d基础模型的单元，所述3d基础模型表示所述对象的所述第一部分和所述对象的第二部分；以及用于基于所述掩膜和所述3d基础模型来生成所述对象的所述第二部分的3d模型的单元。
5、在一些方面中，所述第二部分的3d模型对应于作为所述对象的一部分的物品。例如，在一些方面中，所述对象是人，所述对象的第一部分对应于人的头部，并且所述对象的第二部分对应于人的头部上的头发。
6、在一些方面中，所述第二部分的3d模型对应于是如下至少一项的物品：与所述对象可分离以及相对于所述对象可移动。例如，在一些方面中，所述对象是人，所述对象的第一部分对应于人的身体区域，并且所述对象的第二部分对应于人穿戴的配件或衣服。
7、在一些方面中，所述对象的第二部分的3d模型邻接所述对象的第一部分的3d模型的至少一部分。在一些方面中，所述对象的第二部分的3d模型在视觉上不与所述对象的第一部分的3d模型碰撞。
8、在一些方面中，所述过程、装置和非暂时性计算机可读介质包括：从帧序列中选择所述一个或多个帧作为关键帧，其中，每个关键帧以不同的角度描绘对象。
9、在一些方面中，所述过程、装置和非暂时性计算机可读介质包括：确定第一关键帧不满足质量阈值；输出反馈以促进将所述对象定位成对应于所述第一关键帧，基于所述反馈捕获至少一个帧；以及将来自所述至少一个帧的帧插入到所述关键帧中。
10、在一些方面中，所述过程、装置和非暂时性计算机可读介质包括：针对沿着轴选择的第一角度，从所述对象的第一部分的3d模型生成第一位图；至少部分地通过将所述第一位图与所述帧序列中的参考帧进行比较来生成第一度量；基于所述比较的结果来选择第一关键帧。
11、在一些方面中，将所述第一位图与所述参考帧进行比较包括：执行所述第一位图与所述参考帧的位图的交并比(intersection over union)。
12、在一些方面中，所述过程、装置和非暂时性计算机可读介质包括：至少部分地通过将所述参考帧与所述帧序列的第二帧的位图进行比较来生成第二度量；以及基于所述第二度量来选择所述第二帧作为所述第一关键帧。
13、在一些方面中，所述过程、装置和非暂时性计算机可读介质包括：将所述一个或多个帧中的每个帧分割成一个或多个区域；以及针对所述一个或多个帧中的每个帧生成掩膜，其中，针对每个帧的掩膜包括对所述一个或多个区域的指示。
14、在一些方面中，所述过程、装置和非暂时性计算机可读介质包括：基于与所述一个或多个帧中的帧相关联的姿态信息，将初始3d模型的每个顶点投影到与所述帧相关联的掩膜；确定所述第一部分的3d模型的每个顶点是否位于与所述帧相关联的掩膜的第一区域内；以及基于所述第一部分的3d模型的顶点在与所述帧相关联的掩膜的第一区域内，提取所述3d基础模型。
15、在一些方面中，所述对象是人，并且所述第一区域对应于人的面部区域和人的头发区域。
16、在一些方面中，所述对象是人，并且所述第一区域对应于人的身体区域和人穿戴的外衣(dress)区域。
17、在一些方面中，所述过程、装置和非暂时性计算机可读介质包括：基于一个或多个顶点中的每个顶点在来自所述一个或多个帧中的帧的所述一个或多个区域中的区域内的概率，从所述3d基础模型中移除所述一个或多个顶点。
18、在一些方面中，针对所述一个或多个帧中的每个帧的掩膜包括标识第一区域的第一掩膜和标识第二区域的第二掩膜。
19、在一些方面中，所述第一区域是面部区域，并且所述第二区域是头发区域。
20、在一些方面中，所述过程、装置和非暂时性计算机可读介质包括：将所述3d基础模型的每个顶点的值本文档来自技高网...
【技术保护点】
1.一种用于生成一个或多个模型的装置，包括：
2.根据权利要求1所述的装置，其中，所述第二部分的所述3D模型对应于作为所述对象的一部分的物品。
3.根据权利要求1所述的装置，其中，所述对象是人，所述对象的所述第一部分对应于所述人的头部，并且所述对象的所述第二部分对应于所述人的所述头部上的头发。
4.根据权利要求1所述的装置，其中，所述第二部分的所述3D模型对应于是如下至少一项的物品：与所述对象可分离以及相对于所述对象可移动。
5.根据权利要求1所述的装置，其中，所述对象是人，所述对象的所述第一部分对应于所述人的身体区域，并且所述对象的所述第二部分对应于所述人穿戴的配件或衣服。
6.根据权利要求1所述的装置，其中，所述对象的所述第二部分的所述3D模型邻接所述对象的所述第一部分的所述3D模型的至少一部分。
7.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
8.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
9.根据权利要求8所述的装置，其中，所述第一区域是
10.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
11.根据权利要求10所述的装置，其中，所述对象是人，并且所述第一区域对应于所述人的面部区域和所述人的头发区域。
12.根据权利要求10所述的装置，其中，所述对象是人，并且所述第一区域对应于所述人的身体区域和所述人穿戴的外衣区域。
13.根据权利要求10所述的装置，其中，所述一个或多个处理器被配置为：
14.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
15.根据权利要求14所述的装置，其中，所述应用包括用于发送和接收音频和文本中的至少一项的功能。
16.根据权利要求14所述的装置，其中，所述第一部分的所述3D模型和所述第二部分的所述3D模型描绘所述应用的用户。
17.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
18.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
19.根据权利要求18所述的装置，其中，为了执行与所述帧相关联的所述姿态信息的所述姿态细化，所述一个或多个处理器被配置为：
20.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
21.一种用于生成一个或多个模型的方法，包括：
22.根据权利要求21所述的方法，其中，针对所述一个或多个帧生成所述掩膜包括：
23.根据权利要求21所述的方法，其中，针对所述一个或多个帧生成所述掩膜包括：
24.根据权利要求21所述的方法，其中，生成所述3D基础模型包括：
25.根据权利要求24所述的方法，进一步包括：
26.根据权利要求21所述的方法，进一步包括：
27.根据权利要求21所述的方法，进一步包括：
28.根据权利要求21所述的方法，进一步包括：
29.根据权利要求28所述的方法，其中，执行与所述帧相关联的所述姿态信息的所述姿态细化包括：
30.根据权利要求21所述的方法，进一步包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种用于生成一个或多个模型的装置，包括：
2.根据权利要求1所述的装置，其中，所述第二部分的所述3d模型对应于作为所述对象的一部分的物品。
3.根据权利要求1所述的装置，其中，所述对象是人，所述对象的所述第一部分对应于所述人的头部，并且所述对象的所述第二部分对应于所述人的所述头部上的头发。
4.根据权利要求1所述的装置，其中，所述第二部分的所述3d模型对应于是如下至少一项的物品：与所述对象可分离以及相对于所述对象可移动。
5.根据权利要求1所述的装置，其中，所述对象是人，所述对象的所述第一部分对应于所述人的身体区域，并且所述对象的所述第二部分对应于所述人穿戴的配件或衣服。
6.根据权利要求1所述的装置，其中，所述对象的所述第二部分的所述3d模型邻接所述对象的所述第一部分的所述3d模型的至少一部分。
7.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
8.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
9.根据权利要求8所述的装置，其中，所述第一区域是所述对象的面部区域，并且所述第二区域是所述对象的头发区域。
10.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
11.根据权利要求10所述的装置，其中，所述对象是人，并且所述第一区域对应于所述人的面部区域和所述人的头发区域。
12.根据权利要求10所述的装置，其中，所述对象是人，并且所述第一区域对应于所述人的身体区域和所述人穿戴的外衣区域。
13.根据权利要求10所述的装置，其中，所述一个或...
【专利技术属性】
技术研发人员：邓艳，M·A·萨尔基斯，毕宁，CM·郭，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。