一种基于生物特征的人身立体重建方法和系统技术方案

本发明专利技术是关于一种基于生物特征的人身立体重建方法和系统，属于三维模型重建领域。技术方案：包括基于先验知识的差异性三维模型重建步骤；基于部分超高维模式识别的三维模型重建步骤；基于超高维模式识别的三维模型重建步骤。有益效果是：解决了超低维数据到高维数据的无穷解问题和三维数据的动态重构问题，能分别在不同条件下进行人身立体重建，包括：对仅能提供客观存在的信息，并且不能提供相关信息下的关键三维数据特征进行重建；对可以提供客观数据以外的关键部分三维点信息，包括Kinect骨架数据的三维数据特征进行重建；对包括特征描述性信息和全三维点信息的三维数据特征进行重建。重建范围更广，更具有普遍性。

A Biometric-based Method and System for Personal Stereo Reconstruction

The invention relates to a method and system of human stereo reconstruction based on biological characteristics, which belongs to the field of three-dimensional model reconstruction. Technical scheme: It includes three-dimensional model reconstruction steps based on prior knowledge, three-dimensional model reconstruction steps based on partial ultra-high-dimensional pattern recognition, and three-dimensional model reconstruction steps based on ultra-high-dimensional pattern recognition. The beneficial effects are as follows: solving the problem of infinite solution from ultra-low-dimensional data to high-dimensional data and dynamic reconstruction of three-dimensional data, and carrying out three-dimensional reconstruction of human body under different conditions, including: reconstructing the key three-dimensional data features which can only provide objective information but can not provide relevant information; and reconstructing the three-dimensional points which can provide key parts other than objective data. Information, including three-dimensional data features of Kinect skeleton data, is reconstructed, and three-dimensional data features including feature descriptive information and full three-dimensional point information are reconstructed. The scope of reconstruction is wider and more universal.

【技术实现步骤摘要】
一种基于生物特征的人身立体重建方法和系统
本专利技术涉及三维模型重建领域，尤其涉及一种基于生物特征的人身立体重建方法和系统。
技术介绍
三维模型是物体的三维多边形表示，通常用计算机或者其他视频设备进行显示。随着三维技术的发展，三维模型逐步被应用到医学、电影、工业、游戏中，在现代科技中扮演极其重要的角色。三维重建作为获取三维信息的有效手段已经成为计算机图形学和计算机视觉领域的一个研究热点。根据人体的生物信息对人体进行三维表示，这里的表示方式包括静态与动态两种，静态是正常站立时人体的三维模型，动态是正常行走过程中某时刻的人体三维模型，一段时间的动态人体三维模型为三维动画。目前尚没有针对不同条件下对超低维数据到高维数据的无穷解问题和三维数据的动态重构问题的较佳方案。
技术实现思路
为了解决超低维数据到高维数据的无穷解问题和三维数据的动态重构问题，本专利技术提供一种基于生物特征的人身立体重建方法和系统。技术方案如下：一种基于生物特征的人身立体重建方法，包括：基于先验知识的差异性三维模型重建步骤；基于部分超高维模式识别的三维模型重建步骤；基于超高维模式识别的三维模型重建步骤。进一步的，所述基于先验知识的差异性三维模型重建包括静态模型构建和动态模型构建；所述静态模型构建包括以下步骤：A1、对所得信息做离散化分类；A2、构建基础的三维人体模型；A3、对构建完成的三维人体模型做特化；A4、针对其他不同的信息，对三维模型做调整参考；所述动态模型构建包括以下步骤：B1、依据先验知识，定义人体在动态过程中的几个关键特征；B2、构建基础三维动作作为基准三维动作；B3、按照提供信息做统一化处理；B4、按照不同的类别形成多种排列组合的三维动画形式，当获取信息后，按照产生动画的条件进行动画检索，完成三维静态模型到动态模型的转变。进一步的，步骤A4中调整方法包括以下步骤：C1、将调整对象分为11类；C2、对每类的三维点云数据做划分归类；C3、计算每类三维数据的平均点位置作为调整对象的原点O；C4、以过O点与人体三维模型脚底平面平行的平面作为xOy平面，Ox方向平行于人的视线方向，Oy方向垂直与人的视线方向，以过O点、垂直于xOy且正方向朝向向头部的轴定义为Oz轴；C5、规定调整度w，取值范围是[-1,1]，代表不同信息值对应不同部位的变化剧烈程度；规定调整单位N，代表不同调整度对应的单位距离变化；C6、对于调整宽窄的，假定要调整的点为P(xp,yp,zp)，脚最低点与头部最高点的棋盘距离为D，将该类所有点云数据按照如下方式调整：计算P点到脚底的距离Dp，将调整度更新为Dp/D×w，即离脚越远，则调整度越高，反之越低，此时，以zp为参考原点Op，P点在xOyp平面上沿方向(xp,yp)向外移动Dp/D×w×N个单位；C7、对于调整长短的，对某个部位来讲，假定原始长度为L，则调整后的长度为L2＝L+w×N，将该部位的原始三维点最低点与最高点分别沿Op轴的负、正方向，调整w/2N个单位，然后，将从O点出发，分别向正、负方向按照步长为N/Δ取均匀分布的多个基准点，以每个基准点做平行于xOy平面的基准平面，采用插值的方式，获取过每个基准平面的三维数据点，将得到的三维数据点代替该部位原来的三维数据点；C8、对于调整弯曲度的，假定要调整的点为P(xp,yp,zp)，计算调整部位在yOz坐标轴上，与y＝z最近的点S(xs,ys,zs)，计算整体部位点与S最远点的距离D，计算P与S的几何距离Dps，沿yOz平面的y＝z方向，将调整度更新为Dp/D×w，以O为原点，P点在要求方向向外移动Dp/D×w×N个单位；C9、对模型分区临界点群做突变评估，计算调整前与调整后的点间距离Q，Q大于0，则认为出现突变，按照顶部为准的准则，对调整部位的三维点，按照与连接处越远调整越小的准则进行调整，具体方式是：以优先部位的点集为初始点集，找到调整部位与优先部位点集的同名点集，从而找到同名点集相关的三角网格顶点，按照原始的三角网络的边长等量，对以初始点集为新顶点的三角网格做调整，每个顶点沿三角网格的法线方向做移动，直至新的三角网格边长与之前的边长平均变化满足误差要求，这里变化delta＝新边长R/旧边长W，误差阈值T＝a/(exp(-Q))，a为常量系数。进一步的，步骤B3中按照提供信息做统一化处理包括：a.脚部动作，定量步角与起脚类别、行走方式落脚状态描述信息，均转换为固定的类别，类别标号与定义包括：1.严重内起：明显内八，大于θ1，小于θ2；2.略微内起：内八，步角大于θ2，小于θ3；3.正常；4.略微外起：外八，步角大于θ4，小于θ5；5.严重外起：明显外八，步角小于θ6，大于θ5；b.腿部动作，定量的步宽信息、行走方式描述信息转换为固定的类别，类别标号与定义包括：1.X型腿：步宽在λ1与λ2之间；2.严重X型腿：步宽在λ2与λ3之间；3.正常行走；4.O型腿：步宽在λ3与λ4之间；5.严重O型腿：步宽在λ4与λ5之间；c.摆臂情况，依据量化的摆臂夹角或者主观摆臂状态，做摆臂情况的分类，类别标号与定义包括：1.小摆臂：行走过程两臂角度小于ψ1；2.正常摆臂：角度在ψ1到ψ2之间；3.大摆臂：角度在ψ2以上。进一步的，所述基于部分超高维模式识别的三维模型重建步骤如下：D1、对三维点信息的状态进行人工判断，从而对这些数据做类别的人工标记；D2、对关键三维点信息做参考模型；D3、部分特征状态关联的自动学习，采用聚类的方式做相关性挖掘；D4、根据学习到的信息与调整因子、步长的关系进行静态模型调整；D5、对动态模型而言，利用人工对同人多帧三维信息的标记，通过挖掘的方法来对腿部、摆臂的类别做重新定义。进一步的，所述基于超高维模式识别的三维模型重建步骤如下：对于静态模型构建与调整：E1、采集标准男、女三维点模型；E2、计算所有采集到的男、女三维点模型的平均点，作为中心原点O，以过O点与人体三维模型脚底平面平行的平面作为xOy平面，Ox方向平行于人的视线方向，Oy方向垂直与人的视线方向，以过O点、垂直于xOy且正方向朝向向头部的轴定义为Oz轴；E3、计算所有男、女三维点到原点的距离、方向，在同方向但不同原点的条件下，计算距离每个方向最近的点，作为与平均模型三维点的同名点，计算点之间的差异；E4、在给定的信息条件下，认为点差异是造成信息差异的主要原因，假定年龄、身高为向量v，点的距离差异为向量d，则可以认为v是d在某个平面的投影，即认为v＝Md，M是投影矩阵，在数据量足够的条件下，通过矩阵学习的方法来求得M的估计值，构建的目标函数采用贪婪法或者松弛法，或者采用非线性的神经网络做学习，求解的方法是最小二乘法，或者梯度下降，具体步骤如下：(1)构建目标函数：||M-Mt||＜e，Mt是估计矩阵，对目标函数求导，可以通过泰勒级数展开，求出M与其增量之间的关系，对于给定的v和d，通过迭代可以减小误差，直至满足误差要求；(2)神经网络方法，结合VGG网络的思想，将d设为输入与输出层，经过卷积后的层级给定为v，然后通过反卷积得到d，通过训练，可以将反卷积层作为M的估计，即可用来求取M；E5、在任何信息向量v给定的条件下，依据M求解d，然后对平均三维模型进行调整得到非先验知识的静态三维数据。对于本文档来自技高网...

【技术保护点】
1.一种基于生物特征的人身立体重建方法，其特征在于，包括：基于先验知识的差异性三维模型重建步骤；基于部分超高维模式识别的三维模型重建步骤；基于超高维模式识别的三维模型重建步骤。

【技术特征摘要】
1.一种基于生物特征的人身立体重建方法，其特征在于，包括：基于先验知识的差异性三维模型重建步骤；基于部分超高维模式识别的三维模型重建步骤；基于超高维模式识别的三维模型重建步骤。2.如权利要求1所述的基于生物特征的人身立体重建方法，其特征在于，所述基于先验知识的差异性三维模型重建包括静态模型构建和动态模型构建；所述静态模型构建包括以下步骤：A1、对所得信息做离散化分类；A2、构建基础的三维人体模型；A3、对构建完成的三维人体模型做特化；A4、针对其他不同的信息，对三维模型做调整参考；所述动态模型构建包括以下步骤：B1、依据先验知识，定义人体在动态过程中的几个关键特征；B2、构建基础三维动作作为基准三维动作；B3、按照提供信息做统一化处理；B4、按照不同的类别形成多种排列组合的三维动画形式，当获取信息后，按照产生动画的条件进行动画检索，完成三维静态模型到动态模型的转变。3.如权利要求2所述的基于生物特征的人身立体重建方法，其特征在于，步骤A4中调整方法包括以下步骤：C1、将调整对象分为11类；C2、对每类的三维点云数据做划分归类；C3、计算每类三维数据的平均点位置作为调整对象的原点O；C4、以过O点与人体三维模型脚底平面平行的平面作为xOy平面，Ox方向平行于人的视线方向，Oy方向垂直与人的视线方向，以过O点、垂直于xOy且正方向朝向向头部的轴定义为Oz轴；C5、规定调整度w，取值范围是[-1,1]，代表不同信息值对应不同部位的变化剧烈程度；规定调整单位N，代表不同调整度对应的单位距离变化；C6、对于调整宽窄的，假定要调整的点为P(xp,yp,zp)，脚最低点与头部最高点的棋盘距离为D，将该类所有点云数据按照如下方式调整：计算P点到脚底的距离Dp，将调整度更新为Dp/D×w，即离脚越远，则调整度越高，反之越低，此时，以zp为参考原点Op，P点在xOyp平面上沿方向(xp,yp)向外移动Dp/D×w×N个单位；C7、对于调整长短的，对某个部位来讲，假定原始长度为L，则调整后的长度为L2＝L+w×N，将该部位的原始三维点最低点与最高点分别沿Op轴的负、正方向，调整w/2N个单位，然后，将从O点出发，分别向正、负方向按照步长为N/Δ取均匀分布的多个基准点，以每个基准点做平行于xOy平面的基准平面，采用插值的方式，获取过每个基准平面的三维数据点，将得到的三维数据点代替该部位原来的三维数据点；C8、对于调整弯曲度的，假定要调整的点为P(xp,yp,zp)，计算调整部位在yOz坐标轴上，与y＝z最近的点S(xs,ys,zs)，计算整体部位点与S最远点的距离D，计算P与S的几何距离Dps，沿yOz平面的y＝z方向，将调整度更新为Dp/D×w，以O为原点，P点在要求方向向外移动Dp/D×w×N个单位；C9、对模型分区临界点群做突变评估，计算调整前与调整后的点间距离Q，Q大于0，则认为出现突变，按照顶部为准的准则，对调整部位的三维点，按照与连接处越远调整越小的准则进行调整，具体方式是：以优先部位的点集为初始点集，找到调整部位与优先部位点集的同名点集，从而找到同名点集相关的三角网格顶点，按照原始的三角网络的边长等量，对以初始点集为新顶点的三角网格做调整，每个顶点沿三角网格的法线方向做移动，直至新的三角网格边长与之前的边长平均变化满足误差要求，这里变化delta＝新边长R/旧边长W，误差阈值T＝a/(exp(-Q))，a为常量系数。4.如权利要求2所述的基于生物特征的人身立体重建方法，其特征在于，步骤B3中按照提供信息做统一化处理包括：a.脚部动作，定量步角与起脚类别、行走方式落脚状态描述信息，均转换为固定的类别，类别标号与定义包括：1.严重内起：明显内八，大于θ1，小于θ2；2.略微内起：内八，步角大于θ2，小于θ3；3.正常；4.略微外起：外八，步角大于θ4，小于θ5；5.严重外起：明显外八，步角小于θ6，大于θ5；b.腿部动作，定量的步宽信息、行走方式描述信息转换为固定的类别，类别标号与定义包括：1.X型腿：步宽在λ1与λ2之间；2.严重X型腿：步宽在λ2与λ3之间；3.正常行走；4.O型腿：步宽在λ3与λ4之间；5.严重O型腿：步宽在λ4与λ5之间；c.摆臂情况，依据量化的摆臂夹角或者主观摆臂状态，做摆臂情况的分类，类别标号与定义包括：1.小摆臂：行走过程两臂角度小于ψ1；2.正常摆臂：角度在ψ1到ψ2之间；3.大摆臂：角度在ψ2以上。5.如权利要求1-4任一项所述的基于生物特征的人身立体重建方法，其特征在于，所述基于部分超高维模式识别的三维模型重建步骤如下：D1、对三维点信息的状态进行人工判断，从而对这些数据做类别的人工标记；D2、对关键三维点信息做参考模型；D3、部分特征状态关联的自动学习，采用聚类的方式做相关性挖掘；D4、根据学习到的信息与调整因子、步长的关系进行静态模型调整；D5、对动态模型而言，利用人工对同人多帧三维信息的标记，通过挖掘的方法来对腿部、摆臂的类别做重新定义。6.如权利要求5所述的基于生物特征的人身立体重建方法，其特征在于，所述基于超高维模式识别的三维模型重建步骤如下：对于静态模型构建与调整：E1、采集标准男、女三维点模型；E2、计算所有采集到的男、女三维点模型的平均点，作为中心原点O，以过O点与人体三维模型脚底平面平行的平面作为xOy平面，Ox方向平行于人的视线方向，Oy方向垂直与人的视线方向，以过O点、垂直于xOy且正方向朝向向头部的轴定义为Oz轴；E3、计算所有男、女三维点到原点的距离、方向，在同方向但不同原点的条件下，计算距离每个方向最近的点，作为与平均模型三维点的同名点，计算点之间的差异；E4、在给定的信息条件下，认为点差异是造成信息差异的主要原因，假定年龄、身高为向量v，点的距离差异为向量d，则可以认为v是d在某个平面的投影，即认为v＝Md，M是投影矩阵，在数据量足...

【专利技术属性】
技术研发人员：董波，郭宝珠，于昕晔，王国建，
申请(专利权)人：大连恒锐科技股份有限公司，
类型：发明
国别省市：辽宁,21