本申请提供一种手部图像生成方法、装置、电子设备及可读存储介质，涉及手部图像生成领域，该方法包括：基于手部网格模型构建手部各个骨骼的占用场以及手部着色场；基于手部各个骨骼的占用场预测手部图像的任一目标像素在观察方向上采样的多个空间坐标点中每个空间坐标点的占用场信息、以及基于手部着色场预测每个空间坐标点的反照率信息以及光照信息；基于每个空间坐标点的占用值、每个空间坐标点的反照率信息以及每个空间坐标点的光照信息，计算每个像素的色彩值，并基于每个像素的色彩值使用体渲染方法合成手部图像。本申请提供的手部图像生成方法，用于以较低的成本渲染出真实感较强的手部图像。感较强的手部图像。感较强的手部图像。
【技术实现步骤摘要】
手部图像生成方法、装置、电子设备及可读存储介质
[0001]本申请涉及手部图像生成领域，尤其涉及一种手部图像生成方法、装置、电子设备及可读存储介质。
技术介绍
[0002]人体渲染是虚拟人制作的基础技术，其中手部作为人体中最灵活的运动部件，存在复杂的姿态变化，因此，手部外观建模的难度极大。
[0003]在相关技术中，手部外观建模主要依赖昂贵的扫描设备来重建手部几何形状和纹理信息，后续还需要投入大量人力来精确绘制手部纹理。并且，基于传统图形学渲染的方法难以呈现真实的光照信息，导致所渲染的图像缺乏真实感。
[0004]基于此，急需一种低成本的手部图像生成方法，在降低手部外观建模成本的同时，还能够提高手部外观图像的真实感。
技术实现思路
[0005]本申请的目的是提供一种手部图像生成方法、装置、电子设备及可读存储介质，用于以较低的成本渲染出真实感较强的手部图像。
[0006]本申请提供一种手部图像生成方法，包括：获取手部姿态信息；将所述手部姿态信息输入到参数化模型中，得到手部网格模型，并基于所述手部网格模型构建手部各个骨骼的占用场以及手部着色场；基于手部各个骨骼的占用场预测手部图像的任一目标像素在观察方向上采样的多个空间坐标点中每个空间坐标点的占用场信息、以及基于所述手部着色场预测所述每个空间坐标点的反照率信息以及光照信息；基于所述每个空间坐标点的占用值、所述每个空间坐标点的反照率信息以及所述每个空间坐标点的光照信息，计算每个像素的色彩值，并基于所述每个像素的色彩值使用体渲染方法合成所述手部图像。
[0007]可选地，述基于所述手部网格模型构建手部各个骨骼的占用场，包括：根据手部活动信息以及预设手部骨骼划分信息对所述手部网格模型的顶点进行部分采样，得到第一点云；将目标骨骼在第一点云中对应的采样点的位置信息输入到与所述目标骨骼对应的零件几何编码器中，得到与所述目标骨骼对应的零件几何编码；一个骨骼对应一个零件几何编码器；将相邻骨骼对应的零件几何编码级联后输入到本地对解码器中，得到手部各个骨骼的占用场；其中，所述预设手部骨骼划分信息用于将手部划分为多个骨骼；所述目标骨骼为所述多个骨骼中的任一个。
[0008]可选地，所述基于手部各个骨骼的占用场预测手部图像的任一目标像素在观察方向上采样的多个空间坐标点中每个空间坐标点的占用信息，包括：对所述手部各个骨骼的占用场取最大值后，得到整个手部的手部占用场，并基于所述手部占用场确定目标关系；所述目标关系为：所述每个空间坐标点与手部几何空间的相对位置关系；基于所述手部占用场确定所述第一点云中与所述每个空间坐标点相邻的多个采样点的占用信息，并基于所述
目标关系以及与所述每个空间坐标点相邻的多个采样点的占用信息预测所述每个空间坐标点的占用信息。
[0009]可选地，基于所述手部网格模型构建手部着色场，包括：根据所述手部网格模型以及所述手部各个骨骼的占用场构建所述手部着色场；其中，手部着色场用于预测所述每个空间坐标点的着色信息；所述着色信息为所述每个空间坐标点的光照信息以及所述每个空间坐标点的反照率信息相乘后得到。
[0010]可选地，所述基于所述手部着色场预测所述每个空间坐标点的反照率信息以及每个空间坐标点的光照信息，包括：对所述手部网格模型的每个网格进行重心采样，得到第二点云；基于所述第二点云中与所述每个空间坐标点相邻的多个采样点中的每个采样点的位置信息、每个采样点的位置编码、以及每个采样点的反照率编码，通过点插值算法计算所述每个空间坐标点的位置编码以及所述每个空间坐标点的反照率编码；将目标关系、所述每个空间坐标点的位置编码、所述每个空间坐标点的占用值以及所述手部姿态信息输入到第一多层感知机中，预测所述每个空间坐标点的光照信息，以及将所述每个空间坐标点的反照率编码输入到第二多层感知机中，预测所述每个空间坐标点的反照率信息；其中，所述目标关系为：所述每个空间坐标点与手部几何空间的相对位置关系；采样点的位置编码用于描述采样点与手部表面的相对位置关系；空间坐标点的位置编码用于描述空间坐标点与手部表面的相对位置关系。
[0011]可选地，所述基于所述每个空间坐标点的占用值、所述每个空间坐标点的反照率信息以及所述每个空间坐标点的光照信息，计算每个像素的色彩值，包括：基于手部几何空间的几何信息将所述多个空间坐标点进行积分运算，得到所述目标像素点的色彩值。
[0012]可选地，所述参数化模型、所述手部各个骨骼的占用场以及所述手部着色场被整合到统一的系统中进行端到端训练；其中，在所述端到端训练的训练过程中，基于以下约束条件对训练过程进行约束：所述参数化模型生成的手部剪影与训练样本中的真值图像的交并比损失，渲染图像与训练样本中的真值图像之间的L1损失，渲染图像与训练视频中的真值图像之间的感知损失。
[0013]本申请还提供一种手部图像生成装置，包括：获取模块，用于获取手部姿态信息；执行模块，用于将所述手部姿态信息输入到参数化模型中，得到手部网格模型，并基于所述手部网格模型构建手部各个骨骼的占用场以及手部着色场；预测模块，用于基于手部各个骨骼的占用场预测手部图像的任一目标像素在观察方向上采样的多个空间坐标点中每个空间坐标点的占用场信息、以及基于所述手部着色场预测所述每个空间坐标点的反照率信息以及光照信息；计算模块，用于基于所述每个空间坐标点的占用值、所述每个空间坐标点的反照率信息以及所述每个空间坐标点的光照信息，计算每个像素的色彩值；图像渲染模块，用于基于所述每个像素的色彩值使用体渲染方法合成所述手部图像。
[0014]可选地，所述装置还包括：采样模块；所述采样模块，用于根据手部活动信息以及预设手部骨骼划分信息对所述手部网格模型的顶点进行部分采样，得到第一点云；所述执行模块，具体用于将目标骨骼在第一点云中对应的采样点的位置信息输入到与所述目标骨骼对应的零件几何编码器中，得到与所述目标骨骼对应的零件几何编码；一个骨骼对应一个零件几何编码器；所述执行模块，具体还用于将相邻骨骼对应的零件几何编码级联后输
入到本地对解码器中，得到手部各个骨骼的占用场；其中，所述预设手部骨骼划分信息用于将手部划分为多个骨骼；所述目标骨骼为所述多个骨骼中的任一个。
[0015]可选地，所述执行模块，还用于对所述手部各个骨骼的占用场取最大值后，得到整个手部的手部占用场，并基于所述手部占用场确定目标关系；所述目标关系为：所述每个空间坐标点与手部几何空间的相对位置关系；所述预测模块，具体用于基于所述手部占用场确定所述第一点云中与所述每个空间坐标点相邻的多个采样点的占用信息，并基于所述目标关系以及与所述每个空间坐标点相邻的多个采样点的占用信息预测所述每个空间坐标点的占用信息。
[0016]可选地，所述执行模块，具体用于根据所述手部网格模型以及所述手部各个骨骼的占用场构建所述手部着色场；其中，手部着色场用于预测所述每个空间坐标点的着色信息；所述着色信息为所述每个空间坐标点的光照信息以及所述每个空间坐标点的反照率信息相乘后得到。
[0017]本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种手部图像生成方法，其特征在于，包括：获取手部姿态信息；将所述手部姿态信息输入到参数化模型中，得到手部网格模型，并基于所述手部网格模型构建手部各个骨骼的占用场以及手部着色场；基于手部各个骨骼的占用场预测手部图像的任一目标像素在观察方向上采样的多个空间坐标点中每个空间坐标点的占用场信息、以及基于所述手部着色场预测所述每个空间坐标点的反照率信息以及光照信息；基于所述每个空间坐标点的占用值、所述每个空间坐标点的反照率信息以及所述每个空间坐标点的光照信息，计算每个像素的色彩值，并基于所述每个像素的色彩值使用体渲染方法合成所述手部图像。2.根据权利要求1所述的方法，其特征在于，所述基于所述手部网格模型构建手部各个骨骼的占用场，包括：根据手部活动信息以及预设手部骨骼划分信息对所述手部网格模型的顶点进行部分采样，得到第一点云；将目标骨骼在第一点云中对应的采样点的位置信息输入到与所述目标骨骼对应的零件几何编码器中，得到与所述目标骨骼对应的零件几何编码；一个骨骼对应一个零件几何编码器；将相邻骨骼对应的零件几何编码级联后输入到本地对解码器中，得到手部各个骨骼的占用场；其中，所述预设手部骨骼划分信息用于将手部划分为多个骨骼；所述目标骨骼为所述多个骨骼中的任一个。3.根据权利要求2所述的方法，其特征在于，所述基于手部各个骨骼的占用场预测手部图像的任一目标像素在观察方向上采样的多个空间坐标点中每个空间坐标点的占用信息，包括：对所述手部各个骨骼的占用场取最大值后，得到整个手部的手部占用场，并基于所述手部占用场确定目标关系；所述目标关系为：所述每个空间坐标点与手部几何空间的相对位置关系；基于所述手部占用场确定所述第一点云中与所述每个空间坐标点相邻的多个采样点的占用信息，并基于所述目标关系以及与所述每个空间坐标点相邻的多个采样点的占用信息预测所述每个空间坐标点的占用信息。4.根据权利要求2所述的方法，其特征在于，基于所述手部网格模型构建手部着色场，包括：根据所述手部网格模型以及所述手部各个骨骼的占用场构建所述手部着色场；其中，手部着色场用于预测所述每个空间坐标点的着色信息；所述着色信息为所述每个空间坐标点的光照信息以及所述每个空间坐标点的反照率信息相乘后得到。5.根据权利要求4所述的方法，其特征在于，所述基于所述手部着色场预测所述每个空间坐标点的反照率信息以及每个空间坐标点的光照信息，包括：对所述手部网格模型的每个网格进行重心采样，得到第二点云；基于所述第二点云中与所述每个空间坐标点相邻的多个采样点中的每个采样点的位
置信息...
【专利技术属性】
技术研发人员：陈星宇，王宝元，沈向洋，
申请(专利权)人：北京红棉小冰科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。