本发明专利技术涉及数字医疗领域的人工智能技术，揭露了一种人体模型构建方法，包括：基于预构建的卷积神经网络及注意力机制的特征聚合网络构建原始人体模型生成网络，对人体视频训练集合中的视频进行序列分帧处理，得到视频帧序列集合，利用视频帧序列集合对原始人体模型生成网络进行模型训练，得到标准人体模型生成网络，获取目标病患的人体动作视频，利用标准人体模型生成网络对人体动作视频进行人体模型构建，得到目标病患的病患人体模型。本发明专利技术还涉及区块链技术，所述病患人体模型可存储在区块链的节点中。本发明专利技术还提出一种人体模型构建装置、电子设备以及可读存储介质。本发明专利技术可以构建轻量化的人体模型生成网络来进行人体建模。模。模。
【技术实现步骤摘要】
人体模型构建方法、装置、设备及存储介质
[0001]本专利技术涉及数字医疗及人工智能
，尤其涉及一种人体模型构建方法、装置、电子设备及可读存储介质。
技术介绍
[0002]随着计算力和数据量的大幅度提升，人工智能技术获得进一步的发展，应用人工智能解决医疗领域问题已成为了热点，例如，通过人工智能构建患者的身体模型，从而辅助医生问诊。
[0003]现有技术中，主要使用SMPL(Skinned Multi
‑
Person Linear Model)模型进行人体模型的估计，SMPL模型的估计已经从单目图片的人体估计发展到单目视频的人体估计。为了捕捉时序信息，目前的视频估计方法多数采用较为复杂的结构，主要包括VIBE和基于该结构改进的TCMR结构，MAED框架等，会存在以下缺陷：VIBE和基于该结构改进的TCMR结构均是使用GRU结构的网络进行时序信息的建模，MAED框架则采用了基于Transformer的结构进行改进，这些时序信息捕捉的结构较为复杂，会使得模型占用较多内存空间，模型结构不够轻量化。
技术实现思路
[0004]本专利技术提供一种人体模型构建方法、装置、电子设备及可读存储介质，其主要目的在于可以构建轻量化的人体模型生成网络来进行人体建模。
[0005]为实现上述目的，本专利技术提供的一种人体模型构建方法，包括：
[0006]基于注意力机制构建特征聚合网络，基于预构建的卷积神经网络及所述特征聚合网络构建原始人体模型生成网络；
[0007]获取人体视频训练集合，对所述人体视频训练集合中的视频进行序列分帧处理，得到视频帧序列集合；
[0008]利用所述视频帧序列集合对所述原始人体模型生成网络进行模型训练，得到标准人体模型生成网络；
[0009]获取目标病患的人体动作视频，利用所述标准人体模型生成网络对所述人体动作视频进行人体模型构建，得到所述目标病患的病患人体模型。
[0010]可选地，所述基于注意力机制构建特征聚合网络，包括：
[0011]将预构建的共享全连接层作为特征压缩层，在所述特征压缩层后串联三个全连接层及激活层，得到所述特征聚合网络。
[0012]可选地，所述基于预构建的卷积神经网络及所述特征聚合网络构建原始人体模型生成网络，包括：
[0013]将所述预构建的卷积神经网络作为特征提取层；
[0014]将三个所述特征聚合网络进行并联，并在并联的网络后串联一个所述特征聚合网络，得到特征聚合层；
[0015]将所述特征聚合层拼接在所述特征提取层后，并在所述特征聚合层后连接一个特征回归层，汇总拼接完成的特征提取层、特征聚合层级特征回归层得到原始人体模型生成网络。
[0016]可选地，所述对所述人体视频训练集合中的视频进行序列分帧处理，得到视频帧序列集合，包括：
[0017]遍历所述人体视频训练集合中的视频，按照预设的分割阈值将每一个视频分割为前序视频帧及后序视频帧；
[0018]汇总每个视频的全部视频帧、前序视频帧及后序视频帧得到所述视频帧序列集合。
[0019]可选地，所述利用所述视频帧序列集合对所述原始人体模型生成网络进行模型训练，得到标准人体模型生成网络，包括：
[0020]利用所述原始人体模型生成网络中的特征提取层提取所述人体视频训练集合中每个视频的全部视频帧的静态特征，并按照所述预设的分割阈值得到前序视频帧对应的静态特征及后序视频帧对应的静态特征；
[0021]利用所述特征聚合层中三个并联的特征聚合网络分别对所述全部视频帧的静态特征、所述前序视频帧对应的静态特征及后序视频帧对应的静态特征进行特征聚合，得到三个原始聚合特征；
[0022]利用所述特征聚合层中最后串联的特征聚合网络对三个所述原始聚合特征进行特征聚合，得到标准聚合特征；
[0023]利用所述原始人体模型生成网络中的特征回归层对所述标准聚合特征进行特征回归，得到预测人体模型参数集合，基于所述预测人体模型参数集合计算模型损失值，在所述模型损失值不满足预设的损失阈值时，调整原始人体模型生成网络中的网络参数并返回所述利用所述特征聚合层中三个并联的特征聚合网络分别对所述全部视频帧的静态特征、所述前序视频帧对应的静态特征及后序视频帧对应的静态特征进行特征聚合的步骤，直至所述模型损失值满足预设的损失阈值时，停止训练，得到标准人体模型生成网络。
[0024]可选地，所述利用所述原始人体模型生成网络中的特征回归层对所述标准聚合特征进行特征回归，得到预测人体模型参数集合，包括：
[0025]利用所述特征回归层中的线性回归器对所述标准聚合特征进行线性回归，得到预测人体动作参数；
[0026]利用所述预测人体动作参数及预构建的网格函数输出身体网格，利用所述线性回归器对所述身体网格的顶点进行线性回归，得到关键点集合及关键点对应的预测人体三维坐标，将所述预测人体三维坐标映射成预测人体二维坐标，汇总所述预测人体动作参数、所述预测人体三维坐标及预测人体二维坐标得到所述预测人体模型参数集合。
[0027]可选地，通过下述损失函数计算模型损失值：
[0028]L＝L
3D
+
2D
+
SMPL
[0029][0030][0031][0032]其中，L表示模型损失值，L
3d
表示人体三维坐标的损失，L
2D
表示人体二维坐标的损失，L
SMPL
表示人体动作参数的损失；K表示关键点集合中关键点的总数，表示第k个关键点的预测人体三维坐标，表示第k个关键点的预测人体二维坐标，是指第k个关键点的真实人体三维坐标，是指第k个关键点的真实人体二维坐标；表示预测人体动作参数中的预测姿态参数，表示预测人体动作参数中的预测形状参数，分别表示训练集合中的真实姿态参数和真实形状参数。
[0033]为了解决上述问题，本专利技术还提供一种人体模型构建装置，所述装置包括：
[0034]模型构建模块，用于基于注意力机制构建特征聚合网络，基于预构建的卷积神经网络及所述特征聚合网络构建原始人体模型生成网络；
[0035]序列分帧模块，用于获取人体视频训练集合，对所述人体视频训练集合中的视频进行序列分帧处理，得到视频帧序列集合；
[0036]模型训练模块，用于利用所述视频帧序列集合对所述原始人体模型生成网络进行模型训练，得到标准人体模型生成网络；
[0037]人体模型生成模块，用于获取目标病患的人体动作视频，利用所述标准人体模型生成网络对所述人体动作视频进行人体模型构建，得到所述目标病患的病患人体模型。
[0038]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0039]存储器，存储至少一个计算机程序；及
[0040]处理器，执行所述存储器中存储的计算机程序以实现上述所述的人体模型构建方法。
[0041]为了解决上述问题，本专利技术还提供一种计本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人体模型构建方法，其特征在于，所述方法包括：基于注意力机制构建特征聚合网络，基于预构建的卷积神经网络及所述特征聚合网络构建原始人体模型生成网络；获取人体视频训练集合，对所述人体视频训练集合中的视频进行序列分帧处理，得到视频帧序列集合；利用所述视频帧序列集合对所述原始人体模型生成网络进行模型训练，得到标准人体模型生成网络；获取目标病患的人体动作视频，利用所述标准人体模型生成网络对所述人体动作视频进行人体模型构建，得到所述目标病患的病患人体模型。2.如权利要求1所述的人体模型构建方法，其特征在于，所述基于注意力机制构建特征聚合网络，包括：将预构建的共享全连接层作为特征压缩层，在所述特征压缩层后串联三个全连接层及激活层，得到所述特征聚合网络。3.如权利要求1所述的人体模型构建方法，其特征在于，所述基于预构建的卷积神经网络及所述特征聚合网络构建原始人体模型生成网络，包括：将所述预构建的卷积神经网络作为特征提取层；将三个所述特征聚合网络进行并联，并在并联的网络后串联一个所述特征聚合网络，得到特征聚合层；将所述特征聚合层拼接在所述特征提取层后，并在所述特征聚合层后连接一个特征回归层，汇总拼接完成的特征提取层、特征聚合层级特征回归层得到原始人体模型生成网络。4.如权利要求3中所述的人体模型构建方法，其特征在于，所述对所述人体视频训练集合中的视频进行序列分帧处理，得到视频帧序列集合，包括：遍历所述人体视频训练集合中的视频，按照预设的分割阈值将每一个视频分割为前序视频帧及后序视频帧；汇总每个视频的全部视频帧、前序视频帧及后序视频帧得到所述视频帧序列集合。5.如权利要求4所述的人体模型构建方法，其特征在于，所述利用所述视频帧序列集合对所述原始人体模型生成网络进行模型训练，得到标准人体模型生成网络，包括：利用所述原始人体模型生成网络中的特征提取层提取所述人体视频训练集合中每个视频的全部视频帧的静态特征，并按照所述预设的分割阈值得到前序视频帧对应的静态特征及后序视频帧对应的静态特征；利用所述特征聚合层中三个并联的特征聚合网络分别对所述全部视频帧的静态特征、所述前序视频帧对应的静态特征及后序视频帧对应的静态特征进行特征聚合，得到三个原始聚合特征；利用所述特征聚合层中最后串联的特征聚合网络对三个所述原始聚合特征进行特征聚合，得到标准聚合特征；利用所述原始人体模型生成网络中的特征回归层对所述标准聚合特征进行特征回归，得到预测人体模型参数集合，基于所述预测人体模型参数集合计算模型损失值，在所述模型损失值不满足预设的损失阈值时，调整原始人体模型生成网络中的网络参数并返回所述利用所述特征聚合层中三个并联的特征聚合网络分别对所述全部视频帧的静态特征、所述
前序视频帧对应的静态特征及后序视频帧对应的静态特征进行特征...
【专利技术属性】
技术研发人员：郑喜民，吴楚翘，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。