一种基于关键点生成数字人体影像的方法、装置及设备制造方法及图纸

本发明专利技术公开了一种基于关键点生成数字人体影像的方法、装置及设备，该方法包括：获取生物人图像；将生物人图像输入至预先训练好的骨骼关键点生成模块，得到骨骼关键点，根据骨骼关键点得到骨骼矩阵；将生物人图像输入至预先训练好的皮肤生成模块，根据骨骼关键点得到皮肤矩阵；将骨骼矩阵和皮肤矩阵输入到普通数字人生成模块，得到普通数字人影像；获取对应生物人图像的器官病灶影像，通过器官病灶点云转化模块根据器官病灶影像得到器官病灶点云矩阵；通过预设合成网络将器官病灶点云矩阵和普通数字人影像进行融合，得到医学数字人影像。解决了如何针对不同的生物人，生成对应其形态特征的电子数字人的技术问题。特征的电子数字人的技术问题。特征的电子数字人的技术问题。

【技术实现步骤摘要】
一种基于关键点生成数字人体影像的方法、装置及设备


[0001]本专利技术涉及医疗图像数据处理领域，尤其涉及一种基于关键点生成数字人体影像的方法、装置及设备。

技术介绍

[0002]在一些健康医学数据中心里，存储了一定的健康医疗数据，如果能将人的医学影像、电子病历中的数据进行相应处理，可以实现根据不同疾病带来的身体变化，进行更加详细、具体的人体影像展示。
[0003]医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得的内部组织影像。“全息数字人”是实现人人可享有的随时随地的“全息式”健康服务目标，构建数字化健康服务新模式，最终形成与每个生物人相对应且可量身定制的“全息数字人”健康新业态，健康医疗的电子化，使人们提供的一切健康服务和医疗行为都可记录、可追溯。从整体、动态和个性化的角度，全面掌握人体生命活动规律，充分反映机体信息的整体性、客观性和时序性特点。
[0004]为了进一步增加医疗资源，使医生看病更加方便准确，需要一种能够使真实人体的虚拟化的数字技术，提高医疗效率。

技术实现思路

[0005]本专利技术提供了一种基于关键点生成数字人体影像的方法、装置及设备，解决了如何针对不同的生物人，生成对应其形态特征的电子数字人的技术问题。
[0006]一种基于关键点生成数字人体影像的方法，包括：获取生物人图像；将所述生物人图像输入至预先训练好的骨骼关键点生成模块，得到骨骼关键点，根据所述骨骼关键点得到骨骼矩阵；将所述生物人图像输入至预先训练好的皮肤生成模块，根据所述骨骼关键点得到皮肤矩阵；将所述骨骼矩阵和所述皮肤矩阵输入到普通数字人生成模块，得到普通数字人影像；获取对应所述生物人图像的器官病灶影像，通过器官病灶点云转化模块根据所述器官病灶影像得到器官病灶点云矩阵；通过预设合成网络将所述器官病灶点云矩阵和所述普通数字人影像进行融合，得到医学数字人影像；其中，所述骨骼关键点生成模块、所述皮肤生成模块、所述普通数字人生成模块、所述器官病灶点云转化模块根据网格卷积和骨骼卷积搭建。
[0007]在本专利技术的一种实施例中，所述根据所述骨骼关键点得到皮肤矩阵，具体包括：根据生物人图像生成网格mesh，确定骨骼关键点影响网格顶点的皮肤权重，所述网格mesh模
拟人体的皮肤形状；基于网格连通度，对所述网格顶点的邻边特征取平均值，得到边缘轴；在所述邻边特征进行前向传递后，根据所述骨骼关键点和所述皮肤权重对所述网格顶点的坐标值进行预测；基于网格连接性，根据所述边缘轴和预测的网格顶点坐标值确定数字人皮肤矩阵。
[0008]在本专利技术的一种实施例中，所述确定骨骼关键点影响网格顶点的皮肤权重，具体包括：确定骨骼关键点的坐标值和所述网格顶点的坐标值；根据所述骨骼关键点的坐标值和所述网格顶点的坐标值确定网格顶点与每个骨骼关键点之间的距离；根据所述距离的远近确定皮肤权重；其中，所述距离越近，相应网格顶点的皮肤权重越大。
[0009]在本专利技术的一种实施例中，所述通过器官病灶点云转化模块根据所述器官病灶影像得到器官病灶点云矩阵，具体包括：根据器官病灶影像信息生成三维渲染图像；获取所述三维渲染图像中红绿蓝RGB三个通道的图像，将三个通道的图像都转化为点云图像，根据所述点云图像得到点云矩阵。
[0010]在本专利技术的一种实施例中，所述获取所述三维渲染图像中红绿蓝RGB三个通道的图像，将三个通道的图像都转化为点云图像，具体包括：单独获取红色、绿色或蓝色通道图像，将所述图像转化为三维数据；所述三维数据的格式为[横坐标,纵坐标,像素值]；根据所述三维数据确定各个颜色通道对应的所有直角坐标点，生成点云图像。
[0011]在本专利技术的一种实施例中，所述通过预设合成网络将所述器官病灶点云矩阵和所述普通数字人影像进行融合，具体包括：确定合成网络，通过下述公式进行数字人合成：其中，B为骨骼矩阵，S为数字人皮肤矩阵，i表示网格顶点，j为使用相对蒙皮权值将S特征折叠为一组j深度偏移，W
ij
是骨骼关键点连接网格顶点i以抵消j的蒙皮权重，R
ij
为人体器官病灶的点云矩阵，S和O右上角的撇表示多个通道。
[0012]在本专利技术的一种实施例中，所述合成网络中的每个层包括一个初始网格卷积MeshConv、几个连续的网格卷积MeshConv + 激活函数ReLU + 批归一化BatchNorm层，以及一个残差连接和另一个激活函数ReLU；通过所述合成网络使用所述皮肤矩阵对所述骨骼关键点应用基于蒙皮的池化操作，使用相对蒙皮权值将皮肤矩阵特征折叠为一组深度偏移。
[0013]在本专利技术的一种实施例中，所述方法还包括：通过数字人简易服装生成模块中的模板，对数字人进行简易服装生成。
[0014]在本专利技术的一种实施例中，所述将所述生物人图像输入至预先训练好的骨骼关键点生成模块，得到骨骼关键点，根据所述骨骼关键点得到骨骼矩阵，具体包括：所述骨骼关键点生成模块包括骨骼关键点检测模型网络；通过所述骨骼关键点检测模型网络提取骨骼关键点；从所述骨骼关键点中依次选择两个位置相邻的骨骼关键点；初始化预设数量的三维零矩阵；用预设像素值填充每个三维零矩阵中所述两个位置相邻的骨骼关键点对应的区域，以将每个所述三维零矩阵转换为每两个位置相邻的骨骼关键点对应的骨骼矩阵。
[0015]在本专利技术的一种实施例中，所述预设像素值大于0，所述区域为以所述两个位置相邻的骨骼关键点的中点作为中心的球体区域或椭球体区域，所述两个骨骼关键点均落在所述球体区域或所述椭球体区域的球面上。
[0016]一种基于关键点生成数字人体影像的装置，包括：获取模块，用于获取生物人图像；骨骼关键点生成模块，用于根据所述生物人图像得到骨骼关键点，根据所述骨骼关键点得到骨骼矩阵；皮肤生成模块，用于根据所述生物人图像以及所述骨骼关键点得到皮肤矩阵；普通数字人生成模块，用于将所述骨骼矩阵和所述皮肤矩阵进行融合得到普通数字人影像；器官病灶点云转化模块，用于获取对应所述生物人的器官病灶影像，根据所述器官病灶影像得到器官病灶点云矩阵；医学数字人生成模块，用于通过预设合成网络将所述器官病灶点云矩阵和所述普通数字人影像进行融合，得到医学数字人影像；其中，所述骨骼关键点生成模块、所述皮肤生成模块、所述普通数字人生成模块、所述器官病灶点云转化模块和所述医学数字人生成模块根据网格卷积和骨骼卷积搭建。
[0017]在本专利技术的一种实施例中，所述装置还包括：简易服装生成模块，用于根据预设模板，生成人体简易服装。
[0018]在本专利技术的一种实施例中，所述皮肤生成模块包括皮肤权重生成子模块；所述皮肤权重生成子模块，用于确定骨骼关键点的坐标值和所述网格顶点的坐标值；根据所述骨骼关键点的坐标值和所述网格顶点的坐标值确定网格顶点与每个骨骼关键点之间的距离；根据所述距离的远近确定皮肤权重；其中，所述距离越近，相应网格顶点的皮肤权重越大。
[0019]一种基于关键点生成数字人体影像的设备，包括：至少一个处理器；以及，与所述至少一个处理器通过总线通信连接的存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键点生成数字人体影像的方法，其特征在于，包括：获取生物人图像；将所述生物人图像输入至预先训练好的骨骼关键点生成模块，得到骨骼关键点，根据所述骨骼关键点得到骨骼矩阵；将所述生物人图像输入至预先训练好的皮肤生成模块，根据所述骨骼关键点得到皮肤矩阵；将所述骨骼矩阵和所述皮肤矩阵输入到普通数字人生成模块，得到普通数字人影像；获取对应所述生物人图像的器官病灶影像，通过器官病灶点云转化模块根据所述器官病灶影像得到器官病灶点云矩阵；通过预设合成网络将所述器官病灶点云矩阵和所述普通数字人影像进行融合，得到医学数字人影像；其中，所述骨骼关键点生成模块、所述皮肤生成模块、所述普通数字人生成模块、所述器官病灶点云转化模块根据网格卷积和骨骼卷积搭建。2.根据权利要求1所述的方法，其特征在于，所述根据所述骨骼关键点得到皮肤矩阵，具体包括：根据生物人图像生成网格mesh，确定骨骼关键点影响网格顶点的皮肤权重，所述网格mesh模拟人体的皮肤形状；基于网格连通度，对所述网格顶点的邻边特征取平均值，得到边缘轴；在所述邻边特征进行前向传递后，根据所述骨骼关键点和所述皮肤权重对所述网格顶点的坐标值进行预测；基于网格连接性，根据所述边缘轴和预测的网格顶点坐标值确定数字人皮肤矩阵。3.根据权利要求2所述的方法，其特征在于，所述确定骨骼关键点影响网格顶点的皮肤权重，具体包括：确定骨骼关键点的坐标值和所述网格顶点的坐标值；根据所述骨骼关键点的坐标值和所述网格顶点的坐标值确定网格顶点与每个骨骼关键点之间的距离；根据所述距离的远近确定皮肤权重；其中，所述距离越近，相应网格顶点的皮肤权重越大。4.根据权利要求1所述的方法，其特征在于，所述通过器官病灶点云转化模块根据所述器官病灶影像得到器官病灶点云矩阵，具体包括：根据器官病灶影像信息生成三维渲染图像；获取所述三维渲染图像中红绿蓝RGB三个通道的图像，将三个通道的图像都转化为点云图像，根据所述点云图像得到点云矩阵。5.根据权利要求4所述的方法，其特征在于，所述获取所述三维渲染图像中红绿蓝RGB三个通道的图像，将三个通道的图像都转化为点云图像，具体包括：单独获取红色、绿色或蓝色通道图像，将所述图像转化为三维数据；所述三维数据的格式为[横坐标,纵坐标,像素值]；根据所述三维数据确定各个颜色通道对应的所有直角坐标点，生成点云图像。6.根据权利要求1所述的方法，其特征在于，所述通过预设合成网络将所述器官病灶点
云矩阵和所述普通数字人影像进行融合，具体包括：确定合成网络，通过下述公式进行数字人合成：其中，B为骨骼矩阵，S为数字人皮肤矩阵，i表示网格顶点，j为使用相对蒙皮权值将S特征折叠为一组j深度偏移，W
ij
是骨骼关键点连接网格顶点i以抵消j的蒙皮权重，R
ij
为人体器官病灶的点云矩阵，S和O右上角的撇表示多个通道。7.根据权利要求6所述的方法，其特征在于，所述合成网络中的每个层包括一个初始网格卷积MeshConv、几个连续的网格卷积MeshConv + 激活函数ReLU + 批归一化BatchNorm层，以及一个残差连接和另一个激活函数ReLU；通过所述合成网络使用所述皮肤矩阵对所述骨骼关键点应用基于蒙皮的池化操作，使用相对蒙皮权值将皮肤矩阵特征折叠为一组深度偏移。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过数字人简易服装生成模块中的模板，对数字人进行简易服装生成。9.根据权利要求1所述的方法，其特征在于，所述将所述生物人图像输入至预先训练好的骨骼关键点生成模块，得到骨骼关键点，根据所述骨骼关键点得到骨骼矩阵，具体包括：所述骨骼关键点生成模块包括骨骼关键点检测模型网络；通过所述骨骼关键点检...

【专利技术属性】
技术研发人员：尹芳，邓小宁，马杰，匡尚超，蔡卓人，
申请(专利权)人：北方健康医疗大数据科技有限公司，
类型：发明
国别省市：