用于实时复杂角色动画和交互性的系统和方法技术方案

系统、方法和非暂时性计算机可读介质可以识别将在实时沉浸式环境中被制作动画的虚拟可变形几何模型。虚拟可变形几何模型包括虚拟模型网格，该虚拟模型网格包括多个顶点、多个边和多个面。在一个或多个迭代中对虚拟模型网格进行迭代地细化以生成细化网格。一个或多个迭代中的每一个迭代增加顶点的数量、边的数量和/或面的数量。在实时沉浸式环境内的虚拟可变形几何模型的实时动画制作期间呈现细化网格。

【技术实现步骤摘要】
【国外来华专利技术】用于实时复杂角色动画和交互性的系统和方法
本技术涉及数字角色动画的领域。更具体地，本技术涉及用于实时复杂角色动画和交互性的技术。
技术介绍
虚拟现实(VR)和增强现实(AR)是用于娱乐和讲故事的新媒体，使内容创建者能够以其他媒体无法实现的方式将观看者沉浸其中。VR和AR是强大的沉浸式平台，可以用观看者可以理解的角色来讲述引人入胜的故事，就像人们在文学或电影中所经历的那样。数字角色(digitalcharacter，数字人物)，如VR和AR体验中使用的那些，通常始于中性化的3D模型(通常称为“默认模型”)。角色“骨架(rig)”是一种数字化的木偶，可以使角色模型产生动画效果(animated)，从而使它们能够以可信的方式移动、行动和表现感情，从而给人以生命的幻觉。角色骨架将静态默认角色模型作为输入，然后根据动画输入控件(例如，肘部弯曲了多少度或角色的嘴巴微笑了多少)，对这些模型应用一组过程修改，从而生成随时间变化作动画的有表现力的变形角色。角色骨架通常包含一组动画控件，这些控件驱动骨骼关节或骨头的低层层次结构或集合。此过程通常称为角色的运动系统。然后，变形层使用多种技术将角色模型附加或绑定到这些动画骨骼。
技术实现思路
本公开的各种实施例可以包括系统、方法和非暂时性计算机可读介质，被配置为接收与虚拟可变形几何模型相关联的虚拟模型信息。虚拟模型信息包括：复杂骨架，其包括多个变换和由默认模型定义的第一多个顶点；以及简化骨架，其包括第二多个变换和第二多个顶点。第二多个顶点对应于由默认模型定义的第一多个顶点。基于将应用于虚拟可变形几何模型的动画，使简化骨架和复杂骨架变形。计算偏移数据集。偏移数据集包括对于第一多个顶点中的每个顶点而言的顶点与第二多个顶点中的对应顶点之间的偏移。在实施例中，动画包括多个帧，以及偏移数据集包括对于第一多个顶点中的每个顶点并且对于多个帧中的每个帧而言的顶点与第二多个顶点中的对应顶点之间的偏移。在实施例中，接收动画将在沉浸式环境中实时应用于虚拟可变形几何模型的指示。在实施例中，基于动画使简化骨架实时变形，并且基于简化骨架的变形和偏移数据集而生成复杂模型变形。在实施例中，第二多个变换表示第一多个变换的子集。在实施例中，第一多个变换包括多个变形变换和多个控制变换，并且第二多个变换包括多个变形变换的子集。在实施例中，第一多个变换中的至少一部分被分层次地布置。在实施例中，第二多个变换中的至少一部分被分层次地布置。在实施例中，简化骨架还包括蒙皮权重集，该蒙皮权重集定义了第二多个变换与第二多个顶点之间的关系。在实施例中，第二多个顶点中的每个顶点与第二多个变换中的不超过四个变换相关联。本公开的各种实施例可以包括系统、方法和非暂时性计算机可读介质，被配置为接收与虚拟可变形几何模型相关联的虚拟模型信息。虚拟模型信息包括：复杂骨架，其包括多个变换和由默认模型定义的第一多个顶点；以及简化骨架，其包括第二多个变换和第二多个顶点。第二多个顶点对应于由默认模型定义的第一多个顶点。基于将应用于虚拟可变形几何模型的动画使简化骨架和复杂骨架变形。计算偏移数据集。偏移数据集包括针对第一多个顶点中的每个顶点而言的顶点与第二多个顶点中的对应顶点之间的偏移。偏移数据集的压缩版本被导出到实时处理引擎，以对虚拟可变形几何模型进行实时动画制作(实时添加动画效果)。在实施例中，生成偏移数据集的压缩版本。在实施例中，生成偏移数据集的压缩版本包括：通过针对第一多个顶点的每个顶点，跟踪针对所述顶点的偏移在整个所述动画期间的最小和最大的X、Y和Z偏移值，来计算第一多个顶点中的每个顶点的紧边界框(tightboundingbox)。在实施例中，生成偏移数据集的压缩版本还包括：基于紧边界框，使用16位或更少的整数来量化偏移数据集中的偏移，以生成偏移数据的低位量化。在实施例中，生成偏移数据集的压缩版本还包括：通过将X、Y和Z偏移值映射到颜色分量值，将偏移数据的低位量化与视频压缩技术相结合。在实施例中，生成偏移数据集的压缩版本还包括：通过将X、Y和Z偏移值映射到音频流的通道，将偏移数据的低位量化与有损或无损音频压缩技术结合。在实施例中，生成偏移数据集的压缩版本还包括：通过将X、Y和Z偏移值映射到照片中像素的颜色分量值并使用顺序动画帧的相邻像素，将偏移数据的低位量化与有损或无损照片压缩技术结合。在实施例中，生成偏移数据集的压缩版本还包括：将第一多个顶点中的每个顶点与视频流的像素相关联。在实施例中，将第一多个顶点中的每个顶点与视频流的像素相关联包括：通过使用纹理查找或通过使用索引方式将第一多个顶点中的每个顶点映射到纹理位置，来将第一多个顶点中的每个顶点与视频流的像素相关联。在实施例中，生成偏移数据集的压缩版本包括：将偏移数据集聚类以生成多个簇(cluster)，并且进一步地，其中，将偏移数据集聚类包括使用K-均值聚类偏移数据集。在实施例中，生成偏移数据集的压缩版本包括：将偏移数据集聚类以生成多个簇；并且将主成分分析(PCA)应用于多个簇中的每个簇。在实施例中，生成偏移数据集的压缩版本包括：使用近似参数化分析函数表示偏移数据集的偏移的随时间的变化；并仅保留(retaining)近似参数化分析函数的参数的子集。本公开的各种实施例可以包括系统、方法和非暂时性计算机可读介质，被配置为识别将在实时沉浸式环境中被制作动画(tobeanimated，被添加动画效果)的虚拟可变形几何模型。虚拟可变形几何模型包括虚拟模型网格，该虚拟模型网格包括多个顶点、多个边和多个面。在一个或多个迭代中对虚拟模型网格进行迭代地细化以生成细化网格。一个或多个迭代中的每一个迭代增加顶点的数量、边的数量和/或面的数量。在实时沉浸式环境内对虚拟可变形几何模型实时制作动画(real-timeanimation，实时添加动画效果)期间呈现细化网格。在实施例中，实时沉浸式环境是虚拟现实环境或增强现实环境。在一个实施例中，细化网格包括第二多个顶点，并且第二多个顶点中的每个顶点是多个顶点中的顶点的线性加权组合。在实施例中，顶点的每个线性加权组合包括一个或多个权重，并且该方法还包括：在实时沉浸式环境内对虚拟可变形几何模型实时制作动画之前预先计算每个线性加权组合的一个或多个权重。在实施例中，每个线性加权组合限于预定义的最大数量的权重。在实施例中，对于第二多个顶点中具有的多个权重比预定义的最大数量的权重还多的每个顶点，基于权重的绝对大小从多个权重中选择用于包括在线性加权组合中的权重的子集。在实施例中，为第二多个顶点中的每个顶点计算近似法线向量和近似切线向量。在实施例中，第二多个顶点的第一顶点子集中的每个顶点正好具有四个相邻(adjacent，邻近)的顶点；为第一顶点子集中的每个顶点计算近似法线向量包括：对于第一顶点子集的每个顶点，基于与顶点相邻的四个顶点计算近似法线向量；以及为第一顶点子集的每个顶点计算近似切线向本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：/n通过计算系统识别将在实时沉浸式环境中被制作动画的虚拟可变形几何模型，所述虚拟可变形几何模型包括虚拟模型网格，所述虚拟模型网格包括多个顶点、多个边和多个面；/n通过所述计算系统在一个或多个迭代中对所述虚拟模型网格进行迭代地细化以生成细化网格，其中所述一个或多个迭代中的每个迭代增加所述顶点的数量、所述边的数量和/或所述面的数量；以及/n在所述实时沉浸式环境内的所述虚拟可变形几何模型的实时动画制作期间，通过所述计算系统呈现所述细化网格。/n

【技术特征摘要】
【国外来华专利技术】20170728 US 62/538,5901.一种计算机实现的方法，包括：
通过计算系统识别将在实时沉浸式环境中被制作动画的虚拟可变形几何模型，所述虚拟可变形几何模型包括虚拟模型网格，所述虚拟模型网格包括多个顶点、多个边和多个面；
通过所述计算系统在一个或多个迭代中对所述虚拟模型网格进行迭代地细化以生成细化网格，其中所述一个或多个迭代中的每个迭代增加所述顶点的数量、所述边的数量和/或所述面的数量；以及
在所述实时沉浸式环境内的所述虚拟可变形几何模型的实时动画制作期间，通过所述计算系统呈现所述细化网格。


2.根据权利要求1所述的计算机实现的方法，其中，所述实时沉浸式环境是虚拟现实环境或增强现实环境。


3.根据权利要求1所述的计算机实现的方法，其中，所述细化网格包括第二多个顶点，并且所述第二多个顶点中的每个顶点是所述多个顶点中的顶点的线性加权组合。


4.根据权利要求3所述的计算机实现的方法，其中
顶点的每个线性加权组合包括一个或多个权重，并且
所述方法还包括：在所述实时沉浸式环境内的所述虚拟可变形几何模型的实时动画制作之前，预先计算每个线性加权组合的所述一个或多个权重。


5.根据权利要求4所述的计算机实现的方法，其中，每个线性加权组合限于预定义的最大数量的权重。


6.根据权利要求5所述的计算机实现的方法，其中，对于所述第二多个顶点中具有的多个权重比所述预定义的最大数量的权重还多的每个顶点，基于权重的绝对大小从所述多个权重中选择用于包括在所述线性加权组合中的权重子集。


7.根据权利要求3所述的计算机实现的方法，其中，还包括：为所述第二多个顶点中的每个顶点计算近似法线向量和近似切线向量。


8.根据权利要求7所述的计算机实现的方法，其中
所述第二多个顶点的第一顶点子集中的每个顶点正好具有四个相邻顶点；
为所述第一顶点子集中的每个顶点计算所述近似法线向量包括：针对所述第一顶点子集中的每个顶点，基于与该顶点相邻的四个顶点计算近似法线向量；以及
为所述第一顶点子集中的每个顶点计算所述近似切线向量包括：针对所述第一顶点子集中的每个顶点，基于与该顶点相邻的四个顶点计算近似切线向量。


9.根据权利要求7所述的计算机实现的方法，其中
所述第二多个顶点的第一顶点子集中的每个顶点具有大于四个的相邻顶点；
为所述第一顶点子集中的每个顶点计算所述近似法线向量包括：针对所述第一顶点子集中的每个顶点，
选择与该顶点相邻的四个顶点，以及
基于所选择的与该顶点相邻的四个顶点计算近似法线向量；以及
为所述第一顶点子集中的每个顶点计算所述近似切线向量包括：针对所述第一顶点子集中的每个顶点，基于所选择的与该顶点相邻的四个顶点来计算近似切线向量。


10.根据权利要求7所述的计算机实现的方法，其中
所述第二多个顶点的第一顶点子集中的每个顶点具有少于四个的相邻顶点；
为所述第一顶点子集中的每个顶点计算所述近似法线向量包括：针对所述第一顶点子集中的每个顶点，
确定与该顶点相关联的四...

【专利技术属性】
技术研发人员：迈克尔·斯科特·哈钦森，
申请(专利权)人：北奥拜勃工作室有限公司，
类型：发明
国别省市：美国;US