一种基于姿态识别的针对人手部的三维建模系统技术方案

本发明专利技术提供一种基于姿态识别的针对人手部的三维建模系统，涉及三维建模技术领域，系统包括数据采集模块，通过摄像头采集手势图片；手部检测分割模块，检测出图像中手部位置，并分割出手部区域；手势识别模块，提取特征，并识别出手势类别；建模单元，根据空间位置数据和图像信息对待建模对象进行建模，生成手部的三维模型；检测模块，将建立好的模型与数据采集模块采集的图像进行对比；手势识别模块包括静态手势识别和动态手势识别，动态手势识别为多模态动态手势识别，通过基于多视图投影的无监督隐空间表征学习来提取有效信息，解决了手势描述的不连续和丢失手势保持时期信息的问题，使三维建模更加准确。使三维建模更加准确。使三维建模更加准确。

【技术实现步骤摘要】
一种基于姿态识别的针对人手部的三维建模系统


[0001]本专利技术涉及三维建模
，具体为一种基于姿态识别的针对人手部的三维建模系统。

技术介绍

[0002]基于图像的三维建模包括图像采集、稀疏重建、点云编辑、稠密重建、网络构建、纹理映射和模型编辑等多个步骤，现有生产普遍采用单个作业人员使用单台电脑独立完成全部步骤的方式，既包括稀疏重建、稠密重建等计算机自动化处理的步骤，又包括点云编辑、模型编辑等需要人工大量交互的步骤，其中，不同的建模步骤对作业人员的专业素养和技能水平要求不同，采用单个作业人员完成全流程处理对作业人员的要求很高，并且计算机长时间自动处理的步骤会造成人工的极大浪费，从而造成生产效率低下，难以降低三维建模的生产成本，从而无法保证企业的市场竞争力。
[0003]根据专利号为CN108921426A，一种三维建模方法及系统，方法包括：采集目标建模物品的原始数据，对原始数据进行共享存储，并添加相应的建模任务列表；根据建模任务列表和当前已登录的初模生产终端任务处理情况进行负载均衡，选择合适的生产终端派发初模任务；接收初模任务的作业人员，读取原始数据并根据建模要求进行初模生产，形成初模成果后进行初模任务提交；任务分发软件接收初模任务后，根据当前已登录的精模生产终端任务处理情况进行精模任务派发；接收到精模任务后，精模任务作业人员获取存储的初模成果，并根据初模成果进行精模生产形成精模成果，并进行精模任务提交。其降低了对模型数据生产人员的整体能力要求，提高了三维建模的生产效率。
[0004]上述描述对三维建模系统进行了介绍，但是现有的三维建模系统存在以下几种问题：
[0005]1、现有的三维建模系统在进行动态建模时常用的运动特征只关注运动部分信息，造成手势描述的不连续，丢失了手势保持时期的信息。
[0006]2、现有的三维建模系统在特征提取时未专注于有效的手部区域的提取，造成身体摆动等无效运动的干扰。

技术实现思路

[0007]针对现有技术的不足，本专利技术提供了一种基于姿态识别的针对人手部的三维建模系统，所述系统包括：数据采集模块，通过摄像头采集手势图片；
[0008]手部检测分割模块，检测出图像中手部位置，并分割出手部区域；
[0009]手势识别模块，提取特征，并识别出手势类别；
[0010]建模单元，根据空间位置数据和图像信息对待建模对象进行建模，生成手部的三维模型；
[0011]检测模块，将建立好的模型与数据采集模块采集的图像进行对比；
[0012]所述手势识别模块包括静态手势识别和动态手势识别，所述动态手势识别为多模
态动态手势识别，所述多模态动态手势识别采用三维隐形状模型建模各模态特征的时空结构信息，通过一致性投票将特征映射至统一的概率空间，形成对各帧动作时空分布的概率估计。
[0013]优选的，所述静态手势识别为多视图投影的半监督静态手势识别，通过多个摄像头同时获取同一手势多个视角的深度图，其中一个视角深度图被作为输入，通过自编码网络预测另外视角的深度图，得到的编码作为手姿态的隐空间表征，最后利用全连接网络直接回归到关节位置。
[0014]优选的，所述数据采集模块包含多个信号采集摄像机，通过不同角度对手部进行拍摄，然后将图片信息传递至手部检测分割模块，对信息进行处理保存。
[0015]优选的，所述手部检测分割模块采用人体骨架算法检测得到手腕关节点分割深度图，以离用户较近部分的深度数据作为手部区域。
[0016]优选的，所述建模单元根据三维点云计算空间位置，得到空间位置数据，根据空间位置数据和图像信息对待建模对象进行建模，生成手部三维模型。
[0017]优选的，所述检测模块包括数据处理器，且数据处理器与数据采集模块电性连接，将生成的手部三维模型与数据处理器中预置的对象进行对比，生成对比结果。
[0018](一)有益效果
[0019]本专利技术提供了一种基于姿态识别的针对人手部的三维建模系统。具备以下有益效果：
[0020]1、本专利技术的手势识别模块包含隐空间表征学习和姿态回归两部分，隐空间表征学习采用基于自编码器的无监督学习框架，以单个视图数据为输入，另一视图为重建目标，低维编码即可认为是两个视图之间的关联隐空间表征，最后，姿态回归融合三组视图之间的隐空间表征为输入，通过线性回归得到手势关节点坐标，通过基于多视图投影的无监督隐空间表征学习来提取有效信息，解决了手势描述不连续和丢失手势保持时期信息的问题，使三维建模更加准确。
[0021]2、本专利技术假设手部在交互过程中是默认位于整个场景的最前端，利用深度分割手部区域，原始图像输入为二维的深度图，在投影之前需要结合相机参数，将深度图转换为以相机为中心的世界坐标系的点云数据，然后利用基于肤色的手部检测器检测手部大致区域，在对应的深度图上利用深度分割删除背景，而后利用剩余点求取手部质心位置，最后以质心点为中心，截取固定大小的正方体区域作为最终的手部区域，避免了身体摆动等无效运动的干扰。
附图说明
[0022]图1为本专利技术的系统示意图。
具体实施方式
[0023]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024]实施例一：
[0025]如图1所示，一种基于姿态识别的针对人手部的三维建模系统，系统包括：数据采集模块，通过摄像头采集手势图片；
[0026]手部检测分割模块，检测出图像中手部位置，并分割出手部区域；
[0027]手势识别模块，提取特征，并识别出手势类别；
[0028]建模单元，根据空间位置数据和图像信息对待建模对象进行建模，生成手部的三维模型；
[0029]检测模块，将建立好的模型与数据采集模块采集的图像进行对比；
[0030]手势识别模块包括静态手势识别和动态手势识别，动态手势识别为多模态动态手势识别。
[0031]静态手势识别为多视图投影的半监督静态手势识别，通过多个摄像头同时获取同一手势多个视角的深度图，其中一个视角深度图被作为输入，通过自编码网络预测另外视角的深度图，得到的编码作为手姿态的隐空间表征，最后利用全连接网络直接回归到关节位置。
[0032]手势识别模块包含隐空间表征学习和姿态回归两部分，隐空间表征学习采用基于自编码器的无监督学习框架，以单个视图数据为输入，另一视图为重建目标，低维编码即可认为是两个视图之间的关联隐空间表征，最后，姿态回归融合三组视图之间的隐空间表征为输入，通过线性回归得到手势关节点坐标，通过基于多视图投影的无监督隐空间表征学习来提取有效信息，解决了手势描述的不连续和丢失手势保持时期信息的问题，使三维建模更加准确。
[0033]因手部是一种高自由度的链式结构使得关节点数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于姿态识别的针对人手部的三维建模系统，其特征在于，所述系统包括：数据采集模块，通过摄像头采集手势图片；手部检测分割模块，检测出图像中手部位置，并分割出手部区域；手势识别模块，提取特征，并识别出手势类别；建模单元，根据空间位置数据和图像信息对待建模对象进行建模，生成手部的三维模型；检测模块，将建立好的模型与数据采集模块采集的图像进行对比；所述手势识别模块包括静态手势识别和动态手势识别，所述动态手势识别为多模态动态手势识别。2.根据权利要求1所述的一种基于姿态识别的针对人手部的三维建模系统，其特征在于：所述多模态动态手势识别采用三维隐形状模型建模各模态特征的时空结构信息，通过一致性投票将特征映射至统一的概率空间，形成对各帧动作时空分布的概率估计。3.根据权利要求1所述的一种基于姿态识别的针对人手部的三维建模系统，其特征在于：所述静态手势识别为多视图投影的半监督静态手势识别，通过多个摄像头同时获取同一手势多个视角的深度图，其中一个视角深度图被作为输入，通过自编码网络预测另外视角的深...

【专利技术属性】
技术研发人员：车友林，
申请(专利权)人：深圳市希齐信息科技有限公司，
类型：发明
国别省市：