对象的处理方法和电子设备技术

本申请公开了一种对象的处理方法和电子设备。其中，该方法包括：采集位于真实世界中的目标对象的图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。本申请可以应用于虚拟现实、增强现实方面的三维（3D）重建领域，解决了在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。对对象进行处理局限性大的技术问题。对对象进行处理局限性大的技术问题。

【技术实现步骤摘要】
对象的处理方法和电子设备


[0001]本申请涉及虚拟现实、增强现实方面的三维重建领域，具体而言，涉及一种对象的处理方法和电子设备。

技术介绍

[0002]目前，随着神经渲染技术的发展，以虚拟现实（Virtual Reality，简称为VR）或增强现实（Augmented Reality，简称为AR）为代表的沉浸式体验正在成为未来视频和未来电商等新型应用的重点发展路径，而这些应用的关键是虚拟形象的创建。
[0003]在相关技术中，通常是使用标准渲染方法合成虚拟形象，但是，该方法训练速度较慢，训练时间较长，极大限制了虚拟形象的制作速度，仍存在在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种对象的处理方法和电子设备，以至少解决在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。
[0006]根据本申请实施例的一个方面，提供了一种对象的处理方法。该方法可以包括：采集位于真实世界中的目标对象的图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。
[0007]根据本申请实施例的另一方面，还提供了另一种对象的处理方法。该方法可以包括：响应作用于操作界面上的输入指令，在操作界面上显示位于真实世界中的目标对象的图像数据；响应作用于操作界面上的渲染指令，至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。
[0008]根据本实施例的另一方面，还提供了另一种对象的处理方法。该方法可以包括：响应作用于虚拟现实VR设备或增强现实AR设备的操作界面上的图像输入指令，在VR设备或AR设备的呈现画面上展示真实世界中目标对象的图像数据；响应作用于操作界面上的渲染指令，驱动VR设备或AR设备至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。
[0009]根据本实施例的另一方面，还提供了另一种对象的处理方法。该方法可以包括：通过调用第一接口调取位于真实世界中的目标对象的图像数据，其中，第一接口包括第一参
数，第一参数的参数值为图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；通过调用第二接口至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，第二接口包括第二参数，第二参数的参数值至少为外观模型。
[0010]根据本实施例的另一方面，还提供了另一种对象的表面神经渲染方法。该方法可以包括：采集位于真实世界中的目标对象的图像数据，其中，图像数据用于表示目标对象的外表面；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征，且用于在渲染管线中展示目标对象在虚拟世界中的虚拟形象。
[0011]根据本申请实施例的一个方面，提供了一种对象的处理装置。该装置可以包括：第一采集单元，用于采集位于真实世界中的目标对象的图像数据；第一重建单元，用于对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；第一渲染单元，用于基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；第一输出单元，用于至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。
[0012]根据本申请实施例的另一方面，还提供了另一种对象的处理装置。该装置可以包括：显示单元，用于响应作用于操作界面上的输入指令，在操作界面上显示位于真实世界中的目标对象的图像数据；第二输出单元，用于响应作用于操作界面上的渲染指令，至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。
[0013]根据本实施例的另一方面，还提供了另一种对象的处理装置。该装置可以包括：展示单元，用于响应作用于VR设备或AR设备的操作界面上的图像输入指令，在VR设备或AR设备的呈现画面上展示真实世界中目标对象的图像数据；驱动单元，用于响应作用于操作界面上的渲染指令，驱动VR设备或AR设备至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。
[0014]根据本实施例的另一方面，还提供了另一种对象的处理装置。该装置可以包括：调取单元，用于通过调用第一接口调取位于真实世界中的目标对象的图像数据，其中，第一接口包括第一参数，第一参数的参数值为图像数据；第二重建单元，用于对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；第二渲染单元，用于基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；第三输出单元，用于通过调用第二接口至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，第二接口包括第二参数，第二参数的参数值至少为外观模型。
[0015]根据本实施例的另一方面，还提供了另一种对象的表面神经渲染装置。该装置可以包括：第二采集单元，用于采集位于真实世界中的目标对象的图像数据，其中，图像数据用于表示目标对象的外表面；第三重建单元，用于对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；第三渲染单元，用于基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征，且用于在渲染管线中展示目标对象在虚拟世界中的虚拟形象。
[0016]根据本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象的处理方法，其特征在于，包括：采集位于真实世界中的目标对象的图像数据；对所述图像数据进行模型重建，得到所述目标对象的网格模型，其中，所述网格模型用于表示覆盖在所述目标对象的外表面的特征模型；基于所述网格模型，对所述目标对象的外表面进行神经渲染，得到外观模型，其中，所述外观模型用于模拟所述目标对象的外观特征；至少将所述外观模型输出至渲染管线中，展示所述目标对象在虚拟世界中的虚拟形象。2.根据权利要求1所述的方法，其特征在于，对所述图像数据进行模型重建，得到所述目标对象的网格模型，包括：对所述图像数据进行三维模型重建，得到所述目标对象的三维网格模型，其中，所述三维网格模型用于表示所述目标对象的三维外表面的特征模型。3.根据权利要求1所述的方法，其特征在于，基于所述网格模型，对所述目标对象的外表面进行神经渲染，得到外观模型，包括：基于所述网格模型确定所述目标对象的外表面的采样位置；对所述采样位置进行神经渲染，得到所述外观模型。4.根据权利要求3所述的方法，其特征在于，对所述采样位置进行神经渲染，得到所述外观模型，包括：将所述采样位置转换为高频信息；对所述高频信息进行非线性处理，得到所述采样位置上的目标特征；基于所述目标特征训练得到所述外观模型，其中，所述外观模型用于输出所述目标对象的外表面的颜色信息，以模拟所述目标对象的外观特征。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：获取所述网格模型的第一纹理图像；将所述目标特征烘焙至所述第一纹理图像上，得到第二纹理图像；至少将所述外观模型输出至渲染管线中，展示所述目标对象在虚拟世界中的虚拟形象，包括：将所述第二纹理图像、所述网格模型和所述外观模型输出至所述渲染管线中，展示所述目标对象在所述虚拟世界中的所述虚拟形象。6.根据权利要求5所述的方法，其特征在于，将所述第二纹理图像、所述网格模型和所述外观模型输出至所述渲染管线中，展示所述目标对象在所述虚拟世界中的所述虚拟形象，包括：将所述第二纹理图像、所述网格模型和所述外观模型的模型参数输出至所述渲染管线中，展示所述目标对象在所述虚拟世界中的所述虚拟形象。7.根据权利要求5所述的方法，其特征在于，所述方法还包括：将第一维度的所述目标特征，转换为第二维度的所述目标特征，其中，所述第二维度低于所述第一维度；将所述目标特征烘焙至所述第一纹理图像上，得到第二纹理图像，包括：将所述第二维度的所述目标特征烘焙至所述第一纹理图像上，得到所述第二纹理图像。8.根据权利要求5所述的方法，其特征在于，获取所述网格模型的第一纹理图像，包括：
对所述网格模型进行减面；获取减面后的所述网格模型的所述第一纹理图像。9.根据权利要求1至8中任意一项所述的方法，其特征在于，所述方法还包括：对所述图像数据进行以下预处理：对所述图像数据进行抽帧处理，得到图像序列；确定所述图像序列对应的图像位姿，其中，所述图像位姿用于表示所...

【专利技术属性】
技术研发人员：王光远，李凌志，冉清，申震，申丽，薄列峰，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：