人体动作三维数据采集和复现的处理方法及系统技术方案

本发明专利技术涉及一种人体动作三维数据采集和复现的处理方法及系统，方法包括步骤：获取包括多个不同角度的人体动作图像；生成贴图信息；对图像数据组进行三维人体模型重建；利用骨骼提取算法，对重建的三维人体模型进行骨骼提取，获得绑定好骨骼的三维人体模型；获取人体运动视频流，经过深度学习算法提取人体动作，将提取的人体动作融入绑定好骨骼的三维人体模型，生成有动作的人体模型；复现三维人体动作。本系统包括图像数据采集单元、人体模型三维重建单元、人体动作模型生成单元、人体动作三维模型复现单元和数据存储单元。本发明专利技术提高了模型计算人体动作的精确度，为各种人体动作的采集与复现提供了必要的支持。

The processing method and system of three-dimensional data acquisition and reproduction of human motion

【技术实现步骤摘要】
人体动作三维数据采集和复现的处理方法及系统
本专利技术涉及计算机视觉处理
，特别是涉及一种人体动作三维数据采集和复现的处理方法及系统。
技术介绍
虚拟人物的动态模型是现代产业发展的重要组成部分，例如智慧工厂、电影和游戏视觉效果应用等，对于真实感、沉浸式虚拟和增强现实、临场感以及三维，及自由视点视频都有着不可估量的价值。这种虚拟人物的理想特征是高级的、一体的、密集的形状、运动和变化模型，以及人的外表，而不论其体格或服装风格如何。以高保真度创作此类模型通常需要专业人员数月的工作。为了简化这个过程，我们研究了无标记的人体动作三维数据采集和复现的方法，从真实人体运动的摄像机记录中重建出一部分这样的三维模型。三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全，因此三维重建需要利用经验知识。而多视图的三维重建(类似人的双目定位)相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图像坐标系与世界坐标系的关系，然后利用多个二维图像中的信息重建出三维信息。目前，市面上常用的三维重建设备或方法包括三种。第一种是基于激光扫描的方法，其主要是基于激光测距的原理，此类设备的构造一般主要包括一台高速精确的激光测距仪、数码相机、以及引导激光运动的辅助设备。采用激光扫描的方法具有精度高、速度快的优点，然而其设备往往价格昂贵，并且体积等常比较大；第二种方法是基于单摄像机及辅助信息的方法，这类方法需要在物体上打上主动光斑等辅助信息，通过分析纹理光斑的形变等变化来计算出物体的三维位置信息，比如一些设备采用红外投影仪向物体投射结构化的光斑信息。这类方法的缺点在于需要额外的辅助设备，并且在对物体快速运动的场景会遇到困难。而且有一些三维重建的方法，物体轮廓分割不干净，物体轮廓和物体外貌颜色信息获取不准确，计算量大，步骤复杂。第三种方法是基于立体视觉的方法，即通过两台以上摄像机从不同角度对物体进行拍摄，分析获得的图像数据，从中计算出物体各个三维点的空间位置，从而得到三维重建数据，这类方法关键需要解决高精度拍摄物体各个三维点的空间位置，从而得到三维重建数据，然而这类方法需要高精度的恢复出物体三维点云信息，这样又存在很大困难，并且此类方法得到的仅仅是一个静态的人物模型。
技术实现思路
针对现有技术的不足和缺陷，本专利技术提出了一种人体动作三维数据采集和复现的处理方法及系统，通过对人体动作图像的采集处理，实现快速人体三维模型重建，通过提取骨骼模型，获取绑定好骨骼的三维人体模型，通过拍摄人体运动视频，基于视频信息，再通过深度学习方法进行人体姿态估计，提取人体动作，结合绑定好骨骼的三维人体模型进行三维重建，生成有动作的人体模型，并进行虚拟展示，复现人体运动全过程。为了实现上述目的，本专利技术技术方案为：一种人体动作三维数据采集和复现的处理方法，其特征在于：包括步骤：S1，获取包括多个不同角度的人体图像；S2，对多个不同角度的人体图像信息进行空间匹配处理，再将处理后的图像信息融合为一个点云模型，再将图像进行特征匹配和裁剪后生成贴图信息；S3，对生成的具备贴图信息的点云模型数据进行三角化处理和BA优化后生成图像数据组，对该图像数据组进行三维人体模型重建；S4，利用骨骼提取算法，对步骤S3中重建的三维人体模型进行骨骼提取，获得绑定好骨骼的三维人体模型；S5，获取人体运动视频流，经过深度学习算法提取人体动作，将提取的人体动作加入步骤S4中绑定好骨骼的三维人体模型，生成有动作的人体模型；S6，复现三维人体动作。进一步地，S1中还需要对获取的人体图像进行畸变校正处理。进一步地，S1中人体图像是通过多个高清摄像头拍摄获取的。进一步地，S1中多个高清摄像头在拍摄人体图像时还需要对拍摄终端进行基准点标定，确定拍摄终端的空间方位和内部参数。进一步地，S4中的骨骼提取算法采用K3M顺序迭代算法。进一步地，S6中将S5中生成的有动作的人体模型输入至VR复现系统，通过VR复现系统复现三维人体动作。进一步地，S1中获取的人体动作图像和S5中获取人体运动视频流可同时通过不同或相同的拍摄设备获得。一种人体动作三维数据采集和复现的处理系统，其特征在于，包括：图像数据采集单元，用于采集多个不同角度的人体图像；人体模型三维重建单元，用于对图像数据采集单元采集的人体图像进行三维人体模型重建，并对重建的三维人体模型进行骨骼提取，进而获得绑定好骨骼的三维人体模型；人体动作模型生成单元，用于获取人体运动视频流，并经过深度学习算法提取人体动作，将提取的人体动作加入绑定好骨骼的三维人体模型，生成有动作的人体动作模型；人体动作三维模型复现单元，用于对完成人体动作模型后的人体动作的复现；数据存储单元，用于对图像数据采集单元采集的数据、人体模型三维重建单元、人体动作模型生成单元之间的数据进行存储和交互。进一步地，所述系统中的所述图像数据采集单元包括由多个可同时拍摄的摄像头构成的拍摄终端。进一步地，所述系统中的所述人体动作三维模型复现单元包括VR复现展示系统。上述技术方案具有如下有益效果：相比以往的人体三维建模方法，本专利技术申请通过多角度人物图像同步采集，集中快速完成人体三维建模，通过拍摄人体运动视频，基于视频信息，通过深度学习进行人体姿态估计，提取人体动作，结合绑定好骨骼的三维人体模型进行三维重建，生成有动作的人体模型，并进行虚拟展示，复现人体运动全过程，并且通过深度学习方法，提高了模型计算人体动作的精确度，为各种人体动作的采集与复现提供了必要的支持。附图说明图1为本专利技术方法流程图。具体实施方式为了便于理解本专利技术，下面将参照相关附图对本专利技术进行更全面的描述。附图中给出了本专利技术的首选实施例。但是，本专利技术可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本专利技术的公开内容更加透彻全面。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。本文所使用的数量词只是举例说明，并不限于该数量。所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。如图1所示，一种人体动作三维数据采集和复现的处理方法，其特征在于：包括步骤：S1，获取包括多个不同角度的人体图像，多个不同角度的人体图像通过多个高清摄像头拍摄获得，在拍摄的同时，需要获取多个高清摄像头的空间方位和内部参数，空间方位即摄像机在的世界坐标系中的方位，取得摄像机在世界坐标系中的方位信息，用于畸变矫正。内部参数包括摄像机的焦距、摄像机主点坐标本文档来自技高网...

【技术保护点】
1.一种人体动作三维数据采集和复现的处理方法，其特征在于：包括步骤：/nS1，获取包括多个不同角度的人体图像；/nS2，对多个不同角度的人体图像信息进行空间匹配处理，再将处理后的图像信息融合为一个点云模型，再将图像进行特征匹配和裁剪后生成贴图信息；/nS3，对生成的具备贴图信息的点云模型数据进行三角化处理和BA优化后生成图像数据组，对该图像数据组进行三维人体模型重建；/nS4，利用骨骼提取算法，对步骤S3中重建的三维人体模型进行骨骼提取，获得绑定好骨骼的三维人体模型；/nS5，获取人体运动视频流，经过深度学习算法提取人体动作，将提取的人体动作加入步骤S4中绑定好骨骼的三维人体模型，生成有动作的人体模型；/nS6，复现三维人体动作。/n

【技术特征摘要】
1.一种人体动作三维数据采集和复现的处理方法，其特征在于：包括步骤：
S1，获取包括多个不同角度的人体图像；
S2，对多个不同角度的人体图像信息进行空间匹配处理，再将处理后的图像信息融合为一个点云模型，再将图像进行特征匹配和裁剪后生成贴图信息；
S3，对生成的具备贴图信息的点云模型数据进行三角化处理和BA优化后生成图像数据组，对该图像数据组进行三维人体模型重建；
S4，利用骨骼提取算法，对步骤S3中重建的三维人体模型进行骨骼提取，获得绑定好骨骼的三维人体模型；
S5，获取人体运动视频流，经过深度学习算法提取人体动作，将提取的人体动作加入步骤S4中绑定好骨骼的三维人体模型，生成有动作的人体模型；
S6，复现三维人体动作。


2.如权利要求1所述的人体动作三维数据采集和复现的处理方法，其特征在于：S1中还需要对获取的人体图像进行畸变校正处理。


3.如权利要求2所述的人体动作三维数据采集和复现的处理方法，其特征在于：S1中人体图像是通过多个高清摄像头拍摄获取的。


4.如权利要求3所述的人体动作三维数据采集和复现的处理方法，其特征在于：S1中多个高清摄像头在拍摄人体图像时还需要对拍摄终端进行基准点标定，确定拍摄终端的空间方位和内部参数。


5.如权利要求1所述的人体动作三维数据采集和复现的处理方法，其特征在于：S4中的骨骼提取算法采用K3M顺序迭代算法。


...

【专利技术属性】
技术研发人员：崔岩，
申请(专利权)人：中德人工智能研究院有限公司，芜湖四维时代智能科技有限公司，
类型：发明
国别省市：安徽;34