对象渲染方法和装置、介质和计算机设备制造方法及图纸

本公开实施例提供一种对象渲染方法和装置、介质和计算机设备，所述方法包括：获取第一对象的三维模型，所述第一对象包括第一组件和第二组件，所述第一组件与所述第二组件的相对姿态随时间变化；获取对第二对象进行图像采集获得的图像帧；基于所述图像帧对应的时间信息，确定所述第一组件与所述第二组件的相对姿态信息；基于所述相对姿态信息，以及所述第一对象与所述第二对象的预设位姿关系，将所述三维模型渲染到所述图像帧中。维模型渲染到所述图像帧中。维模型渲染到所述图像帧中。

【技术实现步骤摘要】
对象渲染方法和装置、介质和计算机设备


[0001]本公开涉及虚拟现实
，尤其涉及对象渲染方法和装置、介质和计算机设备。

技术介绍

[0002]在相关技术中，常常会将一些对象渲染到真实采集的图像中，以使渲染后的图像获得一定的视觉效果。然而，相关技术中的对象渲染方式的渲染效果往往真实度较低。

技术实现思路

[0003]第一方面，本公开实施例提供一种对象渲染方法，所述方法包括：获取第一对象的三维模型，所述第一对象包括第一组件和第二组件，所述第一组件与所述第二组件的相对姿态随时间变化；获取对第二对象进行图像采集获得的图像帧；基于所述图像帧对应的时间信息，确定所述第一组件与所述第二组件的相对姿态信息；基于所述相对姿态信息，以及所述第一对象与所述第二对象的预设位姿关系，将所述三维模型渲染到所述图像帧中。
[0004]第二方面，本公开实施例提供一种对象渲染方法，所述方法包括：获取图像采集装置采集图像帧时的姿态信息，所述图像帧中包括与第一对象具有预设位姿关系的第二对象，所述姿态信息用于表征所述图像采集装置与所述第二对象之间的相对姿态；基于所述姿态信息对预先生成的三维立体贴图中的像素点进行采样；基于采样出的像素点的像素值确定环境光信息；基于所述环境光信息、所述姿态信息，以及所述预设位姿关系，将所述第一对象的三维模型渲染到所述图像帧上。
[0005]第三方面，本公开实施例提供一种对象渲染装置，所述装置包括：第一获取模块，用于获取第一对象的三维模型，所述第一对象包括第一组件和第二组件，所述第一组件与所述第二组件的相对姿态随时间变化；第二获取模块，用于获取对第二对象进行图像采集获得的图像帧；第一确定模块，用于基于所述图像帧对应的时间信息，确定所述第一组件与所述第二组件的相对姿态信息；第一渲染模块，用于基于所述相对姿态信息，以及所述第一对象与所述第二对象的预设位姿关系，将所述三维模型渲染到所述图像帧中。
[0006]第四方面，本公开实施例提供一种对象渲染装置，所述装置包括：第三获取模块，用于获取图像采集装置采集图像帧时的姿态信息，所述图像帧中包括与第一对象具有预设位姿关系的第二对象，所述姿态信息用于表征所述图像采集装置与所述第二对象之间的相对姿态；采样模块，用于基于所述姿态信息对预先生成的三维立体贴图中的像素点进行采样；第二确定模块，用于基于采样出的像素点的像素值确定环境光信息；第二渲染模块，用于基于所述环境光信息、所述姿态信息，以及所述预设位姿关系，将所述第一对象的三维模型渲染到所述图像帧上。
[0007]第五方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。
[0008]第六方面，本公开实施例提供一种计算机设备，包括存储器、处理器及存储在存储
器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。
[0009]本公开实施例基于图像帧对应的时间信息确定第一对象包括的第一组件与第二组件的相对姿态信息，并基于该相对姿态信息和第一对象与图像帧中的第二对象的预设位姿关系，将第一对象的三维模型渲染到所述图像帧中，可以渲染出相对姿态随时间变化的第一组件与第二组件，从而提高渲染效果的真实度。
[0010]本公开实施例将三维立体贴图的每个像素点视为光源，并基于图像采集装置采集图像帧时的姿态信息对三维立体贴图中的像素点进行采样，在渲染过程中可以使用采样得到的像素点的像素值模拟环境光信息，使渲染出的三维模型呈现出更逼真的反射效果，提高了渲染效果的真实度。
[0011]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
[0012]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
[0013]图1A、图1B和图1C分别是本公开实施例的应用场景的示意图。
[0014]图2是本公开实施例的对象渲染方法的流程图。
[0015]图3是本公开实施例的手表模型中各个子模型的示意图。
[0016]图4A、图4B和图4C是秒针模型的不同姿态的示意图。
[0017]图5是三维模型与目标对象的类别相同时渲染效果的示意图。
[0018]图6是渲染出的手表模型中指针模型指示的时间的示意图。
[0019]图7A是为不同的目标对象渲染不同类别的三维模型的示意图。
[0020]图7B是为不同的目标对象渲染不同属性的三维模型的示意图。
[0021]图8是锚点和移动点的示意图。
[0022]图9A和图9B分别是相机姿态与第二子模型的姿态的关系示意图。
[0023]图10是手腕关键点的示意图。
[0024]图11A、图11B、图11C和图11D分别是三维立体模型的示意图。
[0025]图12是纹理图的示意图。
[0026]图13是立方体的示意图。
[0027]图14是半球形空间Ω的示意图。
[0028]图15是本公开另一实施例的对象渲染方法的流程图。
[0029]图16是本公开实施例的对象渲染装置的框图。
[0030]图17是本公开另一实施例的对象渲染装置的框图。
[0031]图18是本公开实施例的计算机设备的结构示意图。
具体实施方式
[0032]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例
中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0033]在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
[0034]应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0035]为了使本
的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
[0036]在相关技术中，常常会将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象渲染方法，其特征在于，所述方法包括：获取第一对象的三维模型，所述第一对象包括第一组件和第二组件，所述第一组件与所述第二组件的相对姿态随时间变化；获取对第二对象进行图像采集获得的图像帧；基于所述图像帧对应的时间信息，确定所述第一组件与所述第二组件的相对姿态信息；基于所述相对姿态信息，以及所述第一对象与所述第二对象的预设位姿关系，将所述三维模型渲染到所述图像帧中。2.根据权利要求1所述的方法，其特征在于，所述三维模型包括表征所述第一组件的第一子模型和表征所述第二组件的第二子模型；所述基于所述相对姿态信息，以及所述第一对象与所述第二对象的预设位姿关系，将所述三维模型渲染到所述图像帧中，包括：按照所述第一对象和所述第二对象的预设位姿关系，将所述第二子模型渲染到所述图像帧中，获得已渲染第二组件的图像帧，并基于所述相对姿态信息将所述第一子模型渲染至所述已渲染第二组件的图像帧中；或者按照所述相对姿态信息，将所述第一子模型和所述第二子模型组合，形成与所述时间信息对应的三维模型；基于所述第一对象和所述第二对象的预设位姿关系，将所述与所述时间信息对应的三维模型渲染至所述图像帧中。3.根据权利要求2所述的方法，其特征在于，所述第一子模型包括锚点和移动点，所述锚点锚定至所述第二子模型的预设点；所述基于所述相对姿态信息将所述第一子模型渲染至所述已渲染第二组件的图像帧中，包括：获取所述预设点在已渲染第二组件的图像帧中的渲染点的第一像素位置；基于所述相对姿态信息确定在所述锚点渲染至所述第一像素位置的情况下，所述移动点渲染至的第二像素位置；基于所述第一像素位置和所述第二像素位置将所述第一子模型渲染至所述已渲染第二组件的图像帧中。4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述相对姿态信息，以及所述第一对象与所述第二对象的预设位姿关系，将所述三维模型渲染到所述图像帧中，包括：基于所述第二对象的参考模型中的多个三维关键点在三维空间中的三维位置以及所述图像帧中所述第二对象的多个二维关键点的像素位置，确定采集所述图像帧的图像采集装置的姿态信息，所述多个三维关键点与所述多个二维关键点一一对应；基于所述图像采集装置的姿态信息将所述参考模型渲染到所述图像帧中，得到已渲染第二对象的图像帧；基于所述相对姿态信息，以及所述第一对象与所述第二对象的预设位姿关系，将所述三维模型渲染到所述已渲染第二对象的图像帧上。5.根据权利要求1至4任一项所述的方法，其特征在于，所述将所述三维模型渲染到所述图像帧中，包括：若所述第二对象位于所述图像帧的中心区域，将所述三维模型渲染到所述图像帧中。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述基于所述相对姿态信息，以及所述第一对象与所述第二对象的预设位姿关系，将所述三维模型渲染到所述图像帧中，包括：获取所述图像帧对应的渲染信息，所述渲染信息包括以下至少一者：所述三维模型的属性信息、环境光信息和阴影信息；基于所述相对姿态信息，所述第一对象与所述第二对象的预设位姿关系，以及所述图像帧对应的渲染信息，将所述三维模型渲染到所述图像帧中。7.根据权利要求6所述的方法，...

【专利技术属性】
技术研发人员：孙飞，何野，杨瑞健，赵代平，
申请(专利权)人：北京大甜绵白糖科技有限公司，
类型：发明
国别省市：