基于深度学习的角色骨骼点映射技术制造技术

本发明专利技术公开了基于深度学习的角色骨骼点映射技术，包括以下步骤：步骤一、使用Kinect设备获取人体的深度图像和骨骼图像；步骤二、对深度图像进行特征提取；步骤三、对骨骼图节点进行坐标转换；步骤四、通过三维软件，创建虚拟的3D角色，并导入至图形引擎，生成角色模型；步骤五、提取关键帧的三个模型组成骨骼特征；步骤六、将深度特征与骨骼特征导入3D角色模型；步骤七、骨骼跟踪矫正。本发明专利技术通过将深度图像进行降噪处理和背景消除后，将深度特征与骨骼特征作为输入数据输入分类器，最终得到其归属部位，有效的减少了骨骼跟踪点的坐标在动态跟踪过程中出现偏差，不易受外界环境的干扰，具有跟踪准确、工作量少等优点。

Role Skeleton Point Mapping Technology Based on Deep Learning

【技术实现步骤摘要】
基于深度学习的角色骨骼点映射技术
本专利技术涉及及虚拟现实3D交互技术以及计算机图形
，特别涉及基于深度学习的角色骨骼点映射技术。
技术介绍
随着科学技术的发展，运动捕捉技术已经在动画，电影，运动教学等领域得到了广泛的应用，运动捕捉技术是一种用于准确测量运动物体在三维空间运动状况的技术，它通过运动捕捉设备把运动物体的运动状况以数字的形式记录下来，然后使用计算机对运动数据进行处理，得到不同时间计量单位上物体的空间坐标，当前的运动捕捉技术主要包括以下几种方式：机械式运动捕捉、电磁式运动捕捉、声学式运动捕捉、光学式运动捕捉、惯性传感器运动捕捉等。光学运动捕捉使用多台相机从不同的角度拍摄对象，将采集到的图像送入计算机计算出每个标记点的空间位置，进而根据已知的骨骼信息得到关节点的旋转角度和人体的运动信息，其优点是精度高、具备捕捉关节、手指甚至面部表情的细微变化能力，缺点是受场景限制，相机必须有较高的拍摄速率，购买专业的标定和软件，价格昂贵。惯性运动捕捉通过加速度计、陀螺仪、磁力计采集数据，经过滤波和数据融合之后得到连续的姿态数据，此外通过角速度和加速度可以计算出被测点的运动轨迹；为了捕捉人体的运动，需要在人体的多个关节点布置惯性节点，多个节点数据的汇总形成整个人体的运动信息，惯性传感器的优点是成本低廉，采集的数据精度较高且不受场景限制，缺点是数据会收到磁场和电子设备的干扰，且存在累积误差。虚拟现实交互技术是一种新兴的综合集成技术，人们可利用计算机来虚构一个3D世界，并与虚拟的3D世界产生交互作用。近年来，体感交互技术蓬勃发展，渐渐走进人们的生活。Kinect体感设备的传感深度范围在0.8米到4.0米之间，而立体显示器中的自由立体显示器的最佳观看距离一般在2米左右，两者之间的适应距离范围存在匹配关系。通过立体显示器，用户可观看到立体画面，同时通过Kinect体感设备，用户可以在不手持或触摸任何设备的情况下，将肢体动作转化为与立体显示器中的虚拟3D图像进行沟通的“语言”，自然地实现人与虚拟空间的交互。现有的大多数基于Kinect体感设备的交互应用中，如基于Kinect体感设备的3D立体试衣装置，多是将人体3D坐标转换为以二维坐标为基准的数据，控制虚拟物体在二维方向上移动，然而这种方法在实际操作过程中经常容易出现偏差，受外界环境的影响因素较大，因此很有必要提供一种基于深度学习的角色骨骼点映射技术来解决这些问题。
技术实现思路
本专利技术的主要目的在于提供基于深度学习的角色骨骼点映射技术，可以有效解决
技术介绍
中的问题。为实现上述目的，本专利技术采取的技术方案为：基于深度学习的角色骨骼点映射技术，包括以下步骤：步骤一、使用Kinect设备获取人体的深度图像和骨骼图像；步骤二、对深度图像进行特征提取；步骤三、对骨骼图节点进行坐标转换；步骤四、通过三维软件，创建虚拟的3D角色，并导入至图形引擎，生成角色模型；步骤五、提取关键帧的三个模型组成骨骼特征；步骤六、将深度特征与骨骼特征导入3D角色模型；步骤七、骨骼跟踪矫正。作为本专利技术的一种优选技术方案，所述步骤一的使用Kinect设备获取人体的深度图像和骨骼图像具体为：利用Kinect传感器收集多幅深度图像样本，建立样本库，样本库中包含各种不同身材和不同的人体常规动作的深度图像，利用这些深度图像，提取深度数据，然后将人体划分为20个部分与骨骼跟踪的20个骨骼点一一对应。作为本专利技术的一种优选技术方案，所述步骤二对深度图像进行特征提取就是将深度图像进行降噪处理和背景消除后，将具有时间信息的深度图像序列投影到正交的笛卡儿积平面上，获得3个视角的投影图，对深度运动图进行截取感兴趣区域操作，用以保证并保证相同角度的投影图大小一致，然后从时间和空间上通过深度运动图上像素的梯度大小和方向获得2D、3D深度特征，对骨骼图节点进行坐标转换，就是以脊柱点为原点统一新的坐标系，将骨骼图节点统一到该坐标系下。作为本专利技术的一种优选技术方案，所述提取关键帧的三个模型组成骨骼特征，就是提取静态姿态模型、当前运动模型、全局偏移模型，将三个模型得到的特征组成一帧骨骼图的底层特征，对求得的特征进行归一化，避免一些较小元素范围中的较大元素占主导地位的情况，由于每个骨骼图序列获得关键帧的数量是不同的，故用基于高斯混合模型的费希尔向量处理不同长度的特征，得到骨骼特征。作为本专利技术的一种优选技术方案，所述步骤六将深度特征与骨骼特征导入3D角色模型就是将深度特征与骨骼特征通过电脑软件分别输入到3D角色模型中，得到与骨骼跟踪的20个骨骼点运动轨迹一致的处于运动状态的角色模型。作为本专利技术的一种优选技术方案，所述步骤七的骨骼跟踪矫正就是利用样本库，提取出人体表面特征的不同梯度值，通过随机森林训练得到阈值，将深度特征与骨骼特征作为输入数据输入分类器，最终得到其归属部位。与现有技术相比，本专利技术具有如下有益效果：本专利技术通过将深度图像进行降噪处理和背景消除后，再将人体划分为20个部分与骨骼跟踪的20个骨骼点一一对应，利用随机森林训练得到阈值，将深度特征与骨骼特征作为输入数据输入分类器，最终得到其归属部位，有效的减少了骨骼跟踪点的坐标在动态跟踪过程中出现偏差，不易受外界环境的干扰，具有跟踪准确、工作量少等优点。附图说明图1为本专利技术基于深度学习的角色骨骼点映射技术的整体流程示意图。具体实施方式为使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本专利技术。实施例1：基于深度学习的角色骨骼点映射技术，包括以下步骤：步骤一、使用Kinect设备获取人体的深度图像和骨骼图像；步骤二、对深度图像进行特征提取；步骤三、对骨骼图节点进行坐标转换；步骤四、通过三维软件，创建虚拟的3D角色，并导入至图形引擎，生成角色模型；步骤五、提取关键帧的三个模型组成骨骼特征；步骤六、将深度特征与骨骼特征导入3D角色模型；步骤七、骨骼跟踪矫正。实施例2：所述步骤一的使用Kinect设备获取人体的深度图像和骨骼图像具体为：利用Kinect传感器收集多幅深度图像样本，建立样本库，样本库中包含各种不同身材和不同的人体常规动作的深度图像，利用这些深度图像，提取深度数据，然后将人体划分为20个部分与骨骼跟踪的20个骨骼点一一对应。实施例3：所述步骤二对深度图像进行特征提取就是将深度图像进行降噪处理和背景消除后，将具有时间信息的深度图像序列投影到正交的笛卡儿积平面上，获得3个视角的投影图，对深度运动图进行截取感兴趣区域操作，用以保证并保证相同角度的投影图大小一致，然后从时间和空间上通过深度运动图上像素的梯度大小和方向获得2D、3D深度特征，对骨骼图节点进行坐标转换，就是以脊柱点为原点统一新的坐标系，将骨骼图节点统一到该坐标系下。实施例4：所述提取关键帧的三个模型组成骨骼特征，就是提取静态姿态模型、当前运动模型、全局偏移模型，将三个模型得到的特征组成一帧骨骼图的底层特征，对求得的特征进行归一化，避免一些较小元素范围中的较大元素占主导地位的情况，由于每个骨骼图序列获得关键帧的数量是不同的，故用基于高斯混合模型的费希尔向量处理不同长度的特征，得到骨骼特征。实施例5：所述步骤六将深度特征与骨骼特征导入3D角色模型就是将深度特征与骨骼特征通过电脑软件分别本文档来自技高网...

【技术保护点】
1.基于深度学习的角色骨骼点映射技术，其特征在于：所述技术包括以下步骤：步骤一、使用Kinect设备获取人体的深度图像和骨骼图像；步骤二、对深度图像进行特征提取；步骤三、对骨骼图节点进行坐标转换；步骤四、通过三维软件，创建虚拟的3D角色，并导入至图形引擎，生成角色模型；步骤五、提取关键帧的三个模型组成骨骼特征；步骤六、将深度特征与骨骼特征导入3D角色模型；步骤七、骨骼跟踪矫正。

【技术特征摘要】
1.基于深度学习的角色骨骼点映射技术，其特征在于：所述技术包括以下步骤：步骤一、使用Kinect设备获取人体的深度图像和骨骼图像；步骤二、对深度图像进行特征提取；步骤三、对骨骼图节点进行坐标转换；步骤四、通过三维软件，创建虚拟的3D角色，并导入至图形引擎，生成角色模型；步骤五、提取关键帧的三个模型组成骨骼特征；步骤六、将深度特征与骨骼特征导入3D角色模型；步骤七、骨骼跟踪矫正。2.根据权利要求1所述的基于深度学习的角色骨骼点映射技术，其特征在于：所述步骤一的使用Kinect设备获取人体的深度图像和骨骼图像具体为：利用Kinect传感器收集多幅深度图像样本，建立样本库，样本库中包含各种不同身材和不同的人体常规动作的深度图像，利用这些深度图像，提取深度数据，然后将人体划分为20个部分与骨骼跟踪的20个骨骼点一一对应。3.根据权利要求1所述的基于深度学习的角色骨骼点映射技术，其特征在于：所述步骤二对深度图像进行特征提取就是将深度图像进行降噪处理和背景消除后，将具有时间信息的深度图像序列投影到正交的笛卡儿积平面上，获得3个视角的投影图，对深度运动图进行截取感兴趣区域操作，用以保证并保证相同角度的投影图大小一致，然后从...

【专利技术属性】
技术研发人员：池前程，李鑫，
申请(专利权)人：武汉奥贝赛维数码科技有限公司，
类型：发明
国别省市：湖北,42