基于时间注意力机制的三维人体重建方法及相关设备技术

本公开提供了一种基于时间注意力机制的三维人体重建方法及相关设备，涉及三维重建技术领域。该方法包括，根据连续多帧图像，确定连续多帧图像中每一帧图像对应的静态特征；根据时间注意力机制对每个静态特征进行加权，确定每个静态特征对应的时间特征；根据时间序列对全部时间特征进行特征融合，确定融合特征；根据融合特征，确定重建后的三维人体。本公开结合注意力机制以及分层特征融合模块，捕捉视频序列中运动的连续性依赖关系，可以提高基于视频序列重建的三维人体的平滑性以及动作连贯性。性。性。

【技术实现步骤摘要】
基于时间注意力机制的三维人体重建方法及相关设备


[0001]本公开涉及三维重建
，尤其涉及一种基于时间注意力机制的三维人体重建方法及相关设备。

技术介绍

[0002]基于单目视频的人体模型姿势和形状重建问题是计算机视觉和人工智能领域的重要问题。生成准确以及平滑的三维人体重建结果在虚拟和增强现实领域具有广泛的应用前景和重要的应用价值。
[0003]现有技术中，基于视频的三维人体重建大多是基于单帧的重建，忽略了帧间的依赖关系，影响了重建后的平滑性以及动作的连贯性。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开提供一种基于时间注意力机制的三维人体重建方法及相关设备，至少在一定程度上克服由于相关技术中重建三维人体平滑性差的问题。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开的一个方面，提供了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时间注意力机制的三维人体重建方法，其特征在于，包括：根据连续多帧图像，确定连续多帧图像中每一帧图像对应的静态特征；根据时间注意力机制对每个静态特征进行加权，确定每个静态特征对应的时间特征；根据时间序列对全部时间特征进行特征融合，确定融合特征；根据所述融合特征，确定重建后的三维人体。2.根据权利要求1所述的基于时间注意力机制的三维人体重建方法，其特征在于，根据连续多帧图像，确定连续多帧图像中每一帧图像对应的静态特征包括：根据连续多帧图像，通过深度神经网络提取每一帧图像的静态特征，确定连续多帧图像中每一帧图像对应的静态特征。3.根据权利要求1所述的基于时间注意力机制的三维人体重建方法，其特征在于，根据时间注意力机制对每个静态特征进行加权，确定每个静态特征对应的时间特征包括：对静态特征进行卷积运算与归一化运算，确定注意力图；对静态特征进行转置运算与归一化运算，确定校准矩阵；对所述注意力图与所述校准矩阵进行卷积运算与归一化运算，确定注意力矩阵；根据所述注意力矩阵对所有时间位置上的静态特征进行加权，确定加权静态特征；根据残差连接加权静态特征与静态特征，确定每个静态特征对应的时间特征。4.根据权利要求1所述的基于时间注意力机制的三维人体重建方法，其特征在于，根据时间序列对全部时间特征进行特征融合，确定融合特征包括：将时间特征按照时间顺序通过多层全连接层生成多个注意力参数；将注意力参数分别与对应帧的时间特征点乘，确定融合特征。5.根据权利要求4所述的基于时间注意力机制的三维人体重建方法，其特征在于，将时间特征按照时间顺序通过多层全连接层生成多个注意力参数；将注意力参数分别与对应帧的时间特征点乘，确定融合特征包括：根据按照时间顺序以当前帧为中心，将时间特征分为过去组、现在...

【专利技术属性】
技术研发人员：苏明兰，张超颖，刘巧俏，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：