人体重建插帧方法及相关产品技术

本申请实施例公开了一种人体重建插帧方法及相关产品，方法包括：获取处理帧队列中的第m帧图像，第m帧图像的拍摄时刻为第k时刻；将第m帧图像输入实时人体重建网络模型中，得到第m帧图像对应的实时人体重建结果，并确定计算出实时人体重建结果的时刻为第k+n时刻；将第m帧图像输入姿态预测网络模型，得到第k+1时刻对应的预测人体重建结果；在第k+n时刻送显实时人体重建结果和第m帧图像；获取处理帧队列中第k+1时刻拍摄得到的第m+1帧图像；根据第m+1帧图像和预测人体重建结果，在第k+n+1时刻进行插帧处理，并送显预测人体重建结果和第m+1帧图像。采用本申请实施例有利于提高人体重建的实时渲染帧率。建的实时渲染帧率。建的实时渲染帧率。

【技术实现步骤摘要】
人体重建插帧方法及相关产品


[0001]本申请涉及电子
，具体涉及一种人体重建插帧方法及相关产品。

技术介绍

[0002]通过单目摄像模块捕获人体的运动状态，由于设备要求不高因此有较为广泛的应用场景，例如远程会议、VR/AR游戏角色驱动等。由于移动端嵌入式设备计算能力的限制，即使经过模型压缩和多线程加速处理后单帧图像的人体重建时间只能在70ms
‑
100ms，而相机的实时帧率一般会维持在30Hz，导致人体重建模型无法实时处理相机推送的图像，容易造成显示图像卡顿。

技术实现思路

[0003]本申请实施例提供了一种人体重建插帧方法及相关产品，可通过插帧的方式，根据上一帧对下一帧的人体重建结果进行预测，有利于提高人体重建的实时渲染帧率，从而避免显示图像的卡顿现象的发生。
[0004]第一方面，本申请实施例提供一种人体重建插帧方法，所述方法包括：
[0005]获取处理帧队列中的第m帧图像，其中，所述处理帧队列中包括按照时间顺序排列的由摄像模块实时拍摄得到的多帧图像，所述第m帧图像的拍摄时刻为第k时刻，k、m均为正整数；
[0006]将所述第m帧图像输入实时人体重建网络模型中，得到所述第m帧图像对应的实时人体重建结果，并确定计算出所述实时人体重建结果的时刻为第k+n时刻，n为正整数；
[0007]将所述第m帧图像输入姿态预测网络模型，得到第k+1时刻对应的预测人体重建结果；
[0008]在所述第k+n时刻向显示屏送显所述实时人体重建结果和所述第m帧图像；
[0009]获取所述处理帧队列中第k+1时刻拍摄得到的第m+1帧图像；
[0010]根据所述第m+1帧图像和所述预测人体重建结果，在所述第k+n+1时刻进行插帧处理，并向所述显示屏送显所述预测人体重建结果和所述第m+1帧图像。
[0011]第二方面，本申请实施例提供一种人体重建插帧装置，所述装置包括：获取单元、输入单元、送显单元和插帧单元，其中，
[0012]所述获取单元，用于获取处理帧队列中的第m帧图像，其中，所述处理帧队列中包括按照时间顺序排列的由摄像模块实时拍摄得到的多帧图像，所述第m帧图像的拍摄时刻为第k 时刻，k、m均为正整数；
[0013]所述输入单元，用于将所述第m帧图像输入实时人体重建网络模型中，得到所述第m帧图像对应的实时人体重建结果，并确定计算出所述实时人体重建结果的时刻为第k+n时刻，n 为正整数；
[0014]所述输入单元，还用于将所述第m帧图像输入姿态预测网络模型，得到第k+1时刻对应的预测人体重建结果；
[0015]所述送显单元，用于在所述第k+n时刻向显示屏送显所述实时人体重建结果和所述第m 帧图像；
[0016]所述获取单元，还用于获取所述处理帧队列中第k+1时刻拍摄得到的第m+1帧图像；
[0017]所述插帧单元，用于根据所述第m+1帧图像和所述预测人体重建结果，在所述第k+n+1 时刻进行插帧处理，并向所述显示屏送显所述预测人体重建结果和所述第m+1帧图像。
[0018]第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
[0019]第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
[0020]第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
[0021]可以看出，本申请实施例中，可获取处理帧队列中的第m帧图像，其中，所述处理帧队列中包括按照时间顺序排列的由摄像模块实时拍摄得到的多帧图像，所述第m帧图像的拍摄时刻为第k时刻，k、m均为正整数；将所述第m帧图像输入实时人体重建网络模型中，得到所述第m帧图像对应的实时人体重建结果，并确定计算出所述实时人体重建结果的时刻为第k+n时刻，n为正整数；将所述第m帧图像输入姿态预测网络模型，得到第k+1时刻对应的预测人体重建结果；在所述第k+n时刻向显示屏送显所述实时人体重建结果和所述第m帧图像；获取所述处理帧队列中第k+1时刻拍摄得到的第m+1帧图像；根据所述第m+1帧图像和所述预测人体重建结果，在所述第k+n+1时刻进行插帧处理，并向所述显示屏送显所述预测人体重建结果和所述第m+1帧图像。如此，可通过处理帧队列的方式，减少不同模型工作或者算法实现环节的阻塞等待时间，为后续的插帧过程提供算法空间。并且通过插帧的方式，根据上一帧对下一帧的人体重建结果进行预测，有利于提高人体重建的实时渲染帧率，从而避免显示图像的卡顿现象的发生。
附图说明
[0022]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1A是本申请实施例提供的一种人体重建插帧方法的场景示意图；
[0024]图1B是本申请实施例提供的一种人体关节点的结构示意图；
[0025]图2是本申请实施例提供的一种人体重建插帧方法的流程示意图；
[0026]图3是本申请实施例提供的一种多视角人体重建网络的工作原理示意图；
[0027]图4是本申请实施例提供的一种人体重建插帧方法的时序示意图；
[0028]图5是本申请实施例提供的一种人体重建插帧方法的流程示意图；
[0029]图6是本申请实施例提供的一种关节点提取网络模型的架构示意图；
[0030]图7是本申请实施例提供的一种关节点提取网络模型的架构示意图；
[0031]图8是本申请实施例提供的一种电子设备的结构示意图；
[0032]图9A是本申请实施例提供的一种人体重建插帧装置的功能单元组成框图
[0033]图9B是本申请实施例提供的一种人体重建插帧装置的功能单元组成框图。
具体实施方式
[0034]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0035]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体重建插帧方法，其特征在于，包括：获取处理帧队列中的第m帧图像，其中，所述处理帧队列中包括按照时间顺序排列的由摄像模块实时拍摄得到的多帧图像，所述第m帧图像的拍摄时刻为第k时刻，k、m均为正整数；将所述第m帧图像输入实时人体重建网络模型中，得到所述第m帧图像对应的实时人体重建结果，并确定计算出所述实时人体重建结果的时刻为第k+n时刻，n为正整数；将所述第m帧图像输入姿态预测网络模型，得到第k+1时刻对应的预测人体重建结果；在所述第k+n时刻向显示屏送显所述实时人体重建结果和所述第m帧图像；获取所述处理帧队列中第k+1时刻拍摄得到的第m+1帧图像；根据所述第m+1帧图像和所述预测人体重建结果，在所述第k+n+1时刻进行插帧处理，并向所述显示屏送显所述预测人体重建结果和所述第m+1帧图像。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：分别对所述多帧图像中每一帧图像进行人体框检测和人体关节点提取，得到每一帧图像对应的人体框和人体关节点对应的像素坐标，其中，每一人体关节点对应一个像素坐标；将所述每一帧图像和所述每一帧图像对应的人体框和所述像素坐标逐个输入到所述处理帧队列。3.根据权利要求1或2所述的方法，其特征在于，所述实时人体重建结果用于驱动所述第m帧图像中的人体关节点，所述预测人体重建结果用于驱动所述第m+1帧图像中的人体关节点。4.根据权利要求3所述的方法，其特征在于，所述实时人体重建网络模型包括：第一网络模块和第二网络模块；所述将所述第m帧图像输入实时人体重建网络模型中，得到所述第m帧图像对应的实时人体重建结果，包括：将所述第m帧图像和所述第m帧图像对应的人体关节点对应的像素坐标输入所述第一网络模块中，得到所述第m帧图像对应的关节点位置信息；将所述关节点位置信息和预处理以后的第m帧图像输入所述第二网络模块中，得到所述第m帧图像中每一人体关节点对应的姿态参数；将所述关节点位置信息和所述每一关节点对应的姿态参数作为所述人体重建结果。5.根据权利要求2所述的方法，其特征在于，所述分别对所述多帧图像中每一帧图像进行人体框检测和人体关节点提取，得到每一帧图像对应的人体框和人体关节点对应的像素坐标，包括：将所述每一帧图像输入预先训练好的关节点提取网络模型中的第三网络模块，得到所述人体关节点对应的特征向量；将所述特征向量输入所述预先训练好的关节点提取网络模型中的第四网络模型，估算得到每一所述人体关节点对应的像素坐标；根据所述每一人体关节点对应的像素坐标，确定所述人体框。6.根据权利要求5所述的方法，其特征...

【专利技术属性】
技术研发人员：冯悠扬，崔秀芬，凌霄，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：