单目视频中的服装重建方法、装置、电子设备及存储介质制造方法及图纸

本公开关于单目视频中的服装重建方法、装置、电子设备及存储介质，涉及人工智能技术领域，包括：获取待重建服装的第一三维边缘信息以及第一三维表面信息；从多个目标视频帧中确定当前目标视频帧；基于当前目标视频帧，对第一三维边缘信息和预设形变模型进行边缘分析更新，得到更新形变模型以及更新三维边缘信息；基于当前目标视频帧，对第一三维表面信息和更新形变模型进行颜色分析更新，得到更新三维表面信息和更新后的更新形变模型；基于更新三维边缘信息、更新三维表面信息和更新后的更新形变模型，重复更新步骤直至满足预设更新收敛条件；基于满足条件时的更新三维边缘信息、更新三维表面信息和更新后的更新形变模型，生成三维服装动态信息。成三维服装动态信息。成三维服装动态信息。

【技术实现步骤摘要】
单目视频中的服装重建方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能
，尤其涉及一种单目视频中的服装重建方法、装置、电子设备及存储介质。

技术介绍

[0002]三维服装的动态重建在虚拟购物、电影、游戏等各种与人类相关的视觉应用中发挥着至关重要的作用。在我们的日常生活中，人类总是处于一种处于移动的状态，驱使着自己的衣服一起移动。要实现以上的常见场景中衣服的重建，就必须构建动态的服装。由于移动设备在数码相机、处理器和存储方面的快速发展，单目视频的拍摄和存储变得十分容易。因此，由单目视频构建得到动态的三维服装的需求也越来越高。目前，构建三维服装的方法主要包括神经渲染方法和衣服的重建方法；其中，第一种神经渲染方法为，通过用一个隐式函数来代表身体的表面，然后是用基于蒙皮的形变去模拟动作，所以可以通过这种方法重建穿着衣服的人，然后将衣服从人身上分离出来，但是，分离的任务需要花费专业模型师很大的精力进行处理；第二种重建方法是，直接利用每个单视角的图片重建出每个视角图片中的服装，但是，当输入变成单目视频后，以上方法很难重建出时间一致性的表面。

技术实现思路

[0003]有鉴于上述存在的技术问题，本公开提出了一种单目视频中的服装重建方法、装置、电子设备及存储介质。
[0004]根据本公开实施例的一方面，提供一种单目视频中的服装重建方法，包括：
[0005]获取目标单目视频中待重建服装对应的第一三维边缘信息，以及所述待重建服装对应的第一三维表面信息；所述第一三维边缘信息表征所述待重建服装在标准空间下初始的三维服装边缘信息；所述第一三维表面信息表征所述待重建服装在所述标准空间下初始的三维隐式表面信息；
[0006]从所述目标单目视频的多个目标视频帧中，确定当前目标视频帧；
[0007]基于所述当前目标视频帧，对所述第一三维边缘信息和预设形变模型进行边缘分析更新，得到更新形变模型以及所述待重建服装对应的更新三维边缘信息；
[0008]基于所述当前目标视频帧，对所述第一三维表面信息和所述更新形变模型进行颜色分析更新，得到所述待重建服装对应的更新三维表面信息和更新后的更新形变模型；
[0009]基于所述更新三维边缘信息、所述更新三维表面信息和所述更新后的更新形变模型，重复所述从所述目标单目视频的多个目标视频帧中，确定当前目标视频帧，至所述基于所述当前目标视频帧，对所述第一三维表面信息和所述更新形变模型进行颜色分析更新，得到所述待重建服装对应的更新三维表面信息和更新后的更新形变模型的更新步骤，直至满足预设更新收敛条件；
[0010]基于满足所述预设更新收敛条件时得到的所述更新三维边缘信息、所述更新三维表面信息和所述更新后的更新形变模型，生成所述待重建服装对应的三维服装动态信息。
[0011]根据本公开实施例的另一方面，提供一种单目视频中的服装重建装置，包括：
[0012]信息获取模块，用于获取目标单目视频中待重建服装对应的第一三维边缘信息，以及所述待重建服装对应的第一三维表面信息；所述第一三维边缘信息表征所述待重建服装在标准空间下初始的三维服装边缘信息；所述第一三维表面信息表征所述待重建服装在所述标准空间下初始的三维隐式表面信息；
[0013]当前视频帧确定模块，用于从所述目标单目视频的多个目标视频帧中，确定当前目标视频帧；
[0014]边缘分析更新模块，用于基于所述当前目标视频帧，对所述第一三维边缘信息和预设形变模型进行边缘分析更新，得到更新形变模型以及所述待重建服装对应的更新三维边缘信息；
[0015]颜色分析更新模块，用于基于所述当前目标视频帧，对所述第一三维表面信息和所述更新形变模型进行颜色分析更新，得到所述待重建服装对应的更新三维表面信息和更新后的更新形变模型；
[0016]执行模块，用于基于所述更新三维边缘信息、所述更新三维表面信息和所述更新后的更新形变模型，重复所述从所述目标单目视频的多个目标视频帧中，确定当前目标视频帧，至所述基于所述当前目标视频帧，对所述第一三维表面信息和所述更新形变模型进行颜色分析更新，得到所述待重建服装对应的更新三维表面信息和更新后的更新形变模型的更新步骤，直至满足预设更新收敛条件；
[0017]动态信息生成模块，用于基于满足所述预设更新收敛条件时得到的所述更新三维边缘信息、所述更新三维表面信息和所述更新后的更新形变模型，生成所述待重建服装对应的三维服装动态信息。
[0018]根据本公开实施例的另一方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述单目视频中的服装重建方法。
[0019]根据本公开实施例的另一方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述单目视频中的服装重建方法。
[0020]根据本公开实施例的另一方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述单目视频中的服装重建方法。
[0021]本公开的实施例提供的技术方案至少带来以下有益效果：
[0022]通过获取目标单目视频中待重建服装对应的第一三维边缘信息，以及待重建服装对应的第一三维表面信息，其中，第一三维边缘信息表征待重建服装在标准空间下初始的三维服装边缘信息，第一三维表面信息表征待重建服装在标准空间下初始的三维隐式表面信息，从目标单目视频的多个目标视频帧中，确定当前目标视频帧，再基于当前目标视频帧，对第一三维边缘信息和预设形变模型进行边缘分析更新，得到更新形变模型以及待重建服装对应的更新三维边缘信息，可以实现从边缘一致性角度对预设形变模型和第一三维边缘信息的更新，进而可以更好的学习到目标单目视频中的服装边缘，接着，结合当前目标视频帧，对第一三维表面信息和更新形变模型进行颜色分析更新，得到待重建服装对应的更新三维表面信息和更新后的更新形变模型，可以实现从图像一致性角度对预设形变模型
和第一三维表面信息的更新，进而可以更好的学习到目标单目视频中的服装表面，然后，结合更新三维边缘信息、更新三维表面信息和更新后的更新形变模型，重复从目标单目视频的多个目标视频帧中，确定当前目标视频帧，至基于当前目标视频帧，对第一三维表面信息和更新形变模型进行颜色分析更新，得到待重建服装对应的更新三维表面信息和更新后的更新形变模型的更新步骤，直至满足预设更新收敛条件，可以实现第一三维边缘信息、第一三维表面信息和预设形变模型的多次更新优化，最后，基于满足预设更新收敛条件时得到的更新三维边缘信息、更新三维表面信息和更新后的更新形变模型，生成待重建服装对应的三维服装动态信息，可以实现目标单目视频中服装的时间一致性表面的动态重建，减少人工成本，另外，通过学习目标单目视频中的服装表面和边缘，可以提高目标单目视频中服装重建的准确性。
[0023]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单目视频中的服装重建方法，其特征在于，所述方法包括：获取目标单目视频中待重建服装对应的第一三维边缘信息，以及所述待重建服装对应的第一三维表面信息；所述第一三维边缘信息表征所述待重建服装在标准空间下初始的三维服装边缘信息；所述第一三维表面信息表征所述待重建服装在所述标准空间下初始的三维隐式表面信息；从所述目标单目视频的多个目标视频帧中，确定当前目标视频帧；基于所述当前目标视频帧，对所述第一三维边缘信息和预设形变模型进行边缘分析更新，得到更新形变模型以及所述待重建服装对应的更新三维边缘信息；基于所述当前目标视频帧，对所述第一三维表面信息和所述更新形变模型进行颜色分析更新，得到所述待重建服装对应的更新三维表面信息和更新后的更新形变模型；基于所述更新三维边缘信息、所述更新三维表面信息和所述更新后的更新形变模型，重复所述从所述目标单目视频的多个目标视频帧中，确定当前目标视频帧，至所述基于所述当前目标视频帧，对所述第一三维表面信息和所述更新形变模型进行颜色分析更新，得到所述待重建服装对应的更新三维表面信息和更新后的更新形变模型的更新步骤，直至满足预设更新收敛条件；基于满足所述预设更新收敛条件时得到的所述更新三维边缘信息、所述更新三维表面信息和所述更新后的更新形变模型，生成所述待重建服装对应的三维服装动态信息。2.根据权利要求1所述的方法，其特征在于，所述基于所述当前目标视频帧，对所述第一三维边缘信息和预设形变模型进行边缘分析更新，得到更新形变模型以及所述待重建服装对应的更新三维边缘信息，包括：将所述当前目标视频帧对应的视频帧标识信息和所述第一三维边缘信息输入至所述预设形变模型进行形变处理，得到所述待重建服装对应的第二三维边缘信息，所述第二三维边缘信息表征所述待重建服装在所述当前目标视频帧对应的观察视角空间下的三维服装边缘信息；基于所述第二三维边缘信息和所述当前目标视频帧，进行边缘损失分析，得到所述当前目标视频帧对应的第一边缘损失信息；基于所述第一边缘损失信息，对所述预设形变模型和所述第一三维边缘信息进行更新，得到所述更新形变模型以及所述更新三维边缘信息。3.根据权利要求2所述的方法，其特征在于，所述基于所述第二三维边缘信息和所述当前目标视频帧，进行边缘损失分析，得到所述当前目标视频帧对应的第一边缘损失信息，包括：对所述第二三维边缘信息进行投影分析，得到所述当前目标视频帧对应的二维可见边缘信息；对所述当前目标视频帧进行服装边缘检测，得到所述待重建服装对应的当前服装边缘信息；对所述当前服装边缘信息和所述二维可见边缘信息进行比对处理，得到所述第一边缘损失信息。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：对所述第一三维边缘信息和第一三维表面信息进行边缘贴合分析，得到边缘贴合损失
信息；所述对所述当前服装边缘信息和所述二维可见边缘信息进行比对处理，得到所述第一边缘损失信息，包括：对所述当前服装边缘信息和所述二维可见边缘信息进行比对处理，得到第三边缘损失信息；基于所述第三边缘损失信息和所述边缘贴合损失信息，确定所述第一边缘损失信息。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：将所述视频帧标识信息和所述第一三维表面信息输入至所述预设形变模型进行形变处理，得到所述待重建服装对应的第二三维表面信息；所述第二三维表面信息表征所述待重建服装在所述当前目标视频帧对应的观察视角空间下的三维隐式表面信息；所述对所述第二三维边缘信息进行投影分析，得到所述当前目标视频帧对应的二维可见边缘信息，包括：基于所述第二三维表面信息，对所述第二三维边缘信息进行投影分析，得到所述二维可见边缘信息。6.根据权利要求5所述的方法，其特征在于，所述第二三维边缘信息包括第二三维边缘曲线中多个第二边缘特征点各自对应的第二三维位置信息；所述基于所述第二三维表面信息，对所述第二三维边缘信息进行投影分析，得到所述二维可见边缘信息，包括：基于所述第二三维表面信息和每个第二边缘特征点对应的第二三维位置信息，对所述每个第二边缘特征点进行可见性分析，得到所述每个第二边缘特征点对应的可见指示信息；任一第二边缘特征点对应的可见指示信息用于指示所述任一第二边缘特征点在所述当前目标视频帧对应的观察视角空间下是否可见；基于所述当前目标视频帧对应的多个第二边缘特征点的可见指示信息和所述多个第二边缘特征点各自对应的第二三维位置信息，生成所述二维可见边缘信息。7.根据权利要求6所述的方法，其特征在于，所述基于所述第二三维表面信息和每个第二边缘特征点对应的第二三维位置信息，对所述每个第二边缘特征点进行可见性分析，得到所述每个第二边缘特征点对应的可见指示信息，包括：基于所述第二三维表面信息和所述任一第二边缘特征点对应的第二三维位置信息，对所述任一第二边缘特征点进行可见性分析，得到所述任一第二边缘特征点对应的可见性分析结果；在所述任一第二边缘特征点对应的可见性分析结果为可见结果的情况下，从所述多个第二边缘特征点中，确定所述任一第二边缘特征点对应的关联边缘特征点；所述任一第二边缘特征点对应的关联边缘特征点为所述多个第二边缘特征点中距离所述任一第二边缘特征点最近的特征点，所述可见结果用于指示对应的第二边缘特征点在所述当前目标视频帧对应的观察视角空间下可见；基于所述第二三维表面信息和所述任一第二边缘特征点对应的关联边缘特征点的第二三维位置信息，对所述任一第二边缘特征点对应的关联边缘特征点进行可见性分析，得到所述任一第二边缘特征点对应的关联边缘特征点的可见性分析结果；在所述任一第二边缘特征点对应的关联边缘特征点的可见性分析结果为所述可见结果的情况下，确定所述任一第二边缘特征点对应的可见指示信息为第一指示信息；所述第
一指示信息用于指示对应的第二边缘特征点在所述当前目标视频帧对应的观察视角空间下可见。8.根据权利要求2所述的方法，其...

【专利技术属性】
技术研发人员：邱陵腾，周佳鹏，陈冠英，许牧天，王君乐，韩晓光，荆彦青，王巨宏，
申请(专利权)人：香港中文大学深圳，
类型：发明
国别省市：