基于骨骼驱动与网格化算法的数字人分身全息显示系统技术方案

本发明专利技术提供一种基于骨骼驱动与网格化算法的数字人分身全息显示系统，属于全息显示技术领域。该系统由3D建模、数据转换、点云去噪、全息生成和光学重建模块组成。其中，3D建模模块用于构建Bip骨骼系统并绑定3D人物模型，设置关键帧生成动作序列；数据转换模块将动作序列导出为glb文件并转换为pcd点云数据；点云去噪模块采用双边滤波算法对pcd点云去噪；全息生成模块把去噪后的pcd文件导入TRS‑PCG系统生成全息图像；光学重建模块对全息图进行光学重建以呈现数字人分身全息像。本发明专利技术用骨骼驱动动作序列生成避免深度相机弊端，集成多项功能提升全息生成效率，并在1920×1080分辨率下，数字人全息显示的速度和质量显著提高。

【技术实现步骤摘要】

本专利技术涉及全息显示与三维计算成像领域，涉及一种基于骨骼驱动与网格化算法的数字人分身全息显示系统。

技术介绍

1、随着虚拟现实(vr)、增强现实(ar)及元宇宙技术的快速发展，全息显示技术因其能够提供沉浸式三维视觉体验而成为研究热点。由于传统全息显示技术主要依赖深度相机采集人体动作数据，通过点云建模生成的全息图像存在着较多局限性。主要体现在：①深度相机的数据采集局限性：深度相机在复杂光照或遮挡场景下易出现数据丢失、噪声干扰及边缘模糊问题，导致三维点云重建精度不足，影响数字分身的动作真实性和细节表现力；②三维模型构建的复杂性：现有技术通常需通过多视角立体视觉或结构光扫描获取物体三维信息，流程繁琐且设备成本高。此外，基于深度相机的动作捕捉需实时处理大量数据，计算复杂度高，难以满足实时全息显示的需求；③全息生成算法的计算瓶颈：传统全息生成算法(如wavefront-recording plane(wrp)、pcg等)依赖逐点计算光场衍射，计算量庞大且内存占用高。为解决现有技术存在问题，本专利技术提出基于骨骼驱动与网格化算法的数字人分身全息显示系统，通过构建虚拟本文档来自技高网...

【技术保护点】

1.一种基于骨骼驱动与网格化算法的数字人分身全息显示系统，应用于数字人分身显示系统，其特征在于，包括如下步骤：

2.根据权利要求1所述的系统，其特征在于，所述S1中在3D建模软件中，首先创建Bip骨骼，并设置关节约束，包括肩关节±90°、膝关节0-180°及踝关节±45°的旋转范围；随后使用蒙皮修改器将所述Bip骨骼系统绑定至3D人物模型，并通过Vertex Paint工具手动调整皮肤权重，确保关节运动时皮肤变形误差＜0.02mm；手动设置12-24个关键帧，生成包含关节角度、位移等运动学参数的动作序列，如行走、跑步、跳跃。

3.根据权利要求1所述的系统，其特征在...

【技术特征摘要】

1.一种基于骨骼驱动与网格化算法的数字人分身全息显示系统，应用于数字人分身显示系统，其特征在于，包括如下步骤：

2.根据权利要求1所述的系统，其特征在于，所述s1中在3d建模软件中，首先创建bip骨骼，并设置关节约束，包括肩关节±90°、膝关节0-180°及踝关节±45°的旋转范围；随后使用蒙皮修改器将所述bip骨骼系统绑定至3d人物模型，并通过vertex paint工具手动调整皮肤权重，确保关节运动时皮肤变形误差＜0.02mm；手动设置12-24个关键帧，生成包含关节角度、位移等运动学参数的动作序列，如行走、跑步、跳跃。

3.根据权利要求1所述的系统，其特征在于，所述s2中将3d建模软件中设计好的动作序列通过“导出”功能，逐帧保存为glb格式文件，该文件包含骨骼层级、顶点位置及uv贴图等信息；基于open3d库编写python代码，实现glb到pcd的转换：使用read_triangle_mesh读取glb文件，通过sample_points_uniformly均匀采样生成150万高密度pcd点云，空间分辨率达0.5mm，最后通过write_point_cloud保存为pcd格式。

4.根据权利要求1所述的系统，其特征在于，所述s3点云去噪方法包括以下步骤：

...

【专利技术属性】
技术研发人员：丁雪媛，赵宇，张永红，
申请(专利权)人：扬州大学，
类型：发明
国别省市：