基于哈希编码的数字人头部重建方法、系统、设备及介质技术方案

技术编号:41102922 阅读:30 留言:0更新日期:2024-04-25 13:58
本发明专利技术提出了一种基于哈希编码的数字人头部重建方法、系统、设备及介质,方法包括:采集数字人头部的视频数据集以获取姿态参数、相机内参和表情参数;选取表情参数至少两帧作为关键帧,检测2D关键点并提升至3D坐标;构建支持头部信息编码的多级哈希表和赋予表情语义的多尺度哈希表关联的表达式库,重建头部的神经辐射场网络;在视频数据集上迭代训练哈希表和神经辐射场网络,通过姿态和视角的渲染后生成数字人头部驱动结果。本发明专利技术通过引入哈希编码和神经辐射场,能够快速学习RGB信息,基于2D域到3D域的映射,缩短数字人头部建模时间,提高建模质量。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域,具体涉及一种基于哈希编码的数字人头部重建方法、系统、设备及介质


技术介绍

1、如近年来,ar/vr及相关产业正迅速发展壮大,3d头部表示成为计算机视觉和图形学个重要的研究问题。如何表示一个动态的数字人头部和怎样真实地从一个单目rgb视频中重建特定数字人头部也成为研究热点。在计算机视觉领域,基于神经辐射场的方法在3d重建问题上已经取得了令人瞩目的效果。但是如果涉及到应用层面,现有的技术还有以下缺陷:

2、(1)重建出一个数字人头部需要的训练时间长,不利于用户使用;

3、(2)数字人重新驱动时速度慢、表情不自然。

4、因此,亟需一种基于哈希编码的数字人头部重建方法以解决上述数字人头部模型的重建性能不佳的问题。


技术实现思路

1、针对现有技术的不足,本专利技术提出一种基于哈希编码的数字人头部重建方法、系统、设备及介质。

2、本专利技术第一方面公开了一种基于哈希编码的数字人头部重建方法,包括:

3、s1:采集数字人头部视频样本本文档来自技高网...

【技术保护点】

1.一种基于哈希编码的数字人头部重建方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于哈希编码的数字人头部重建方法,其特征在于,所述确认查询点后基于2D投影计算所述关键点和所述查询点的相对深度值,求解所述查询点的相对位置编码,关键点组成的集合表示为:

3.根据权利要求2所述的基于哈希编码的数字人头部重建方法,其特征在于,所述通过融合所述多级哈希表中的多级哈希特征以及所述查询点的相对位置编码,获得点对齐特征和空间向量特征包括:

4.根据权利要求3所述的基于哈希编码的数字人头部重建方法,其特征在于,所述通过所述表情参数联合多尺度哈希表关联的表达...

【技术特征摘要】

1.一种基于哈希编码的数字人头部重建方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于哈希编码的数字人头部重建方法,其特征在于,所述确认查询点后基于2d投影计算所述关键点和所述查询点的相对深度值,求解所述查询点的相对位置编码,关键点组成的集合表示为:

3.根据权利要求2所述的基于哈希编码的数字人头部重建方法,其特征在于,所述通过融合所述多级哈希表中的多级哈希特征以及所述查询点的相对位置编码,获得点对齐特征和空间向量特征包括:

4.根据权利要求3所述的基于哈希编码的数字人头部重建方法,其特征在于,所述通过所述表情参数联合多尺度哈希表关联的表达式库获得线性混合语义特征的计算公式为:

5.根据权利要求4所述的基于哈希编码的数字人头部重建方法,其特征在于...

【专利技术属性】
技术研发人员:丁一吴庆耀黄欣怡黄海亮钟晓静白剑梁瑛玮张海林鲁和平李长杰陈焕然李乐王浩洪行健冷冬李尚然
申请(专利权)人:易方信息科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1