一种人体动作增强可视化方法及人体动作增强现实系统技术方案

本发明专利技术公开了一种人体动作增强可视化方法及人体动作增强现实系统，该方法通过人体动作获取设备提取人体骨架动作信息，将其设置为边界条件及外力，使用计算流体力学的方法，在叠加的图层上进行气流运动的仿真，并将气流下密度场的变化与运动数据同步显示，从而增强各类动作的可视化效果，适用于对微小及瞬时动作的可视化。本发明专利技术通过计算自动合成增强运动效果的视觉数据至原人体动作视频上，无需人为地对动作数据进行后续的处理，可配合增强现实眼镜或其他相机显示一体设备，应用于增强现实等领域。

【技术实现步骤摘要】
一种人体动作增强可视化方法及人体动作增强现实系统
本专利技术涉及虚拟现实及数据可视化
，特别涉及一种人体动作增强可视化方法及人体动作增强现实系统。
技术介绍
人体动作是常见的视频内容，通过观察人体动作可以获得大量关于运动者的信息，在教育、健康、体育等领域有诸多应用。视频录制与运动捕捉系统是常见的人体动作数据获取方式，在这样的数据获取手段下，由于其他高维数据可视化技术不够直观，人体动作数据的可视化多以视频形式及杆状的抽象骨架运动来进行可视化。受到人类视觉的局限，此类直观的人体动作可视化方法对于平稳且明显的动作展示效果较好，而对瞬时动作及微小动作无法明显地进行展示。针对这一问题，文献[CeLiuetal，MotionMagnification，ACMTransactionsonGraphics24(3)，2005，Pages519-526]及其后续工作提出了一类通过信号处理的方法来放大动作的视频处理技术。此类技术人为地放大了视频中的动作，用户需要对比处理前的数据才能观察到真实的运动数据。为此，本专利技术提出了一种新的人体动作增强可视化方法，保留原人体动作的视觉信息，旨在通过使用计算流体力学方法仿真人体动作下气流的运动，显示并叠加算出的气流运动以增强显示人体动作。本专利技术提出的动作增强显示技术可以通过计算的方法自动合成至原人体动作视频上，无需人为地对动作数据及视频进行后续的处理及合成，可配合AR眼镜或其他相机显示一体设备，应用于增强现实等领域。
技术实现思路
本专利技术的目的是提供一种人体动作增强可视化方法，其能够根据采集到的人体动作数据，在保留原动作数据的基础上自动地叠加视觉数据以增强人体动作的可视化效果。本专利技术的上述技术目的是通过以下技术方案得以实现的：一种人体动作增强可视化方法，包括使用人体动作获取设备获得三维人体动作数据以及二维视频序列，并将三维人体动作数据投影至二维视频中获得传统可视化下的人体动作视频，还包括如下步骤：步骤1，从三维人体动作数据中提取三维骨架运动数据，并将其投影至二维视频中，获得二维骨架运动数据，并得出二维骨架位置信息；步骤2，创建与二维视频分辨率一致的二维半透明的图层；根据二维骨架位置信息对和图层分辨率一致的密度场进行初始化；步骤3，对密度场进行下采样，使用计算流体力学的方法，对密度场在人体运动下的变化进行仿真，仿真的边界条件根据二维骨架运动数据计算获得；步骤4，对变化后的密度场进行上采样，获得密度场半透明图层，并将其叠加至传统可视化下的人体动作视频中，或者使用流场可视化方法，对气流流速场进行采样，并将其结果进叠加至传统可视化下的人体动作视频中。本专利技术还提供一种人体动作增强现实系统，包括人体动作获取设备、增强可视化生成模块、视频合成模块和显示屏，其中：人体动作获取设备用于获取三维人体动作数据和二维视频序列；增强可视化生成模块用于增强人体动作可视化效果：首先，增强可视化生成模块从三维人体动作数据中提取三维骨架运动数据，并将其投影至二维视频中，获得二维骨架运动数据，并得出二维骨架位置信息；然后，创建与二维视频分辨率一致的二维半透明的图层；根据二维骨架位置信息对和图层分辨率一致的密度场进行初始化；最后，对密度场进行下采样，使用计算流体力学的方法，对密度场在人体运动下的变化进行仿真，仿真的边界条件根据二维骨架运动数据计算获得；视频合成模块对变化后的密度场进行上采样，获得密度场半透明图层，并将其叠加至传统可视化下的人体动作视频中，或者使用流场可视化方法，对气流流速场进行采样，并将其结果进叠加至传统可视化下的人体动作视频中，最后传输至显示屏中。综上所述，本专利技术具有以下有益效果：本专利技术充分利用视频中人体外的空间，辅以可视的空气流动仿真效果以增强人体动作可视效果，原人体动作能被保留，且增强可视效果直观；本专利技术无需人为对视频进行后期处理，加入额外的计算模块可在视频上直接显示增强可视的效果；本专利技术在二维空间进行流体仿真计算，相比在三维空间先进行仿真计算再投影至二维进行显示计算效率更高；对于微小动作或瞬时动作，虽然视频中人体动画部分无法强调显示出此类动作，叠加的图层上通过模拟动作产生的随时间变化的气流变化，可以帮助用户观察到微小动作或瞬时动作。附图说明图1为本专利技术方法的原理示意图；图2为边界条件设置方法示例；图3为本专利技术应用于增强现实系统的系统框图示例。具体实施方式附图对本专利技术的技术方案进行详细说明。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。本专利技术提供一种人体动作增强可视化方法，包括如下步骤：步骤1，如图1所示，本专利技术的输入数据为三维的人体动作数据以及从其中提取的骨架运动数据。此类数据可通过如Vicon等运动捕获系统或Kinect等深度相机及其配套的骨架运动提取SDK获取。若此数据来自于运动捕获系统，则直接绘制骨架动画，投影至所选取视角，作为传统动作可视化方法。若此数据来自于深度相机，则绘制其RGB通道数据，或是同时绘制RGB通道数据及投影后的骨架动画，作为传统动作可视化方法。步骤2，对密度场进行初始化。方法一若传统可视化绘制分辨率为800x600，则设置初始化密度场拥有同样的维数800x600。选取骨架运动的第一帧作为参考来计算初始密度场。初始密度场ρ可以通过求解离散的热扩散方程获得：(I-tL)ρ＝ρ0(1)其中t为时间常数控制热扩散的时间，L为离散格点上的Laplace矩阵，I为单位矩阵，ρ0为在二维骨架处的热源密度为1，其余位置处的热源密度为0时的密度场分布。方法二密度场可通过公式：计算，其中Ci为第i(i≥0)个骨骼的位置，K(r)为半径为r的高斯核函数，r是GaussianKernel的半径，dl是积分曲线上Ci的线单元，ρ(x，y)为密度场分布。方法二中，初始密度场可以设置为在以人体重心为圆心的环状、圆形或其他正规形状区域内为1，其余区域为0的密度场。步骤3，如图2所示，根据骨架的运动信息，计算密度场的变化。使用计算流体力学的方法，通过在二维格点上求解Navier-Stokes方程来计算密度场的更新。为提高仿真计算的效率，首先对密度场进行下采样，将相邻格点合并取其密度场的平均值为下采样的密度场，如将800x600的密度场下采样至200x150，以减少计算规模。根据骨架的运动设置计算流体力学所需的边界条件。具体包括在与骨架相交的格点处外力f＝c(vs-vf)，其中vs，vf分别为骨架的运动速度及密度场的变化速度，c为可调节的缩放系数；以及骨架相交处的边界条件，在流速变化下，首先计算出到达每一个骨架相邻侧处格点处的速度大小，再利用反射定理计算出以骨架为边界后的速度的大小以及方向。如图2右图所示，入射气流流速场v1和v2碰到骨架后，形成入射角α，以同样的反射角α反射后形成下一帧的气流流速v1’和v2’，从而实现以骨架为边界的效果。由于在进行流体计算的时候是将速度正交分解为vx与vy，所以在进行边界条件计算的时候需要先将速度合成，经过计算处理后，再正交分解成反射后的速度。在气流仿真中，可以将图层边界设置为闭合或开放的边界条件。每次骨架动画前进一帧，进行一至多帧的仿真计算，以更新气流速度场，进而更新骨架运动影响下的密度场。步骤4，完成对传统可视化的增强显示效果。首先对计算流体力学仿真后本文档来自技高网...

【技术保护点】
一种人体动作增强可视化方法，包括使用人体动作获取设备获得三维人体动作数据以及二维视频序列，并将三维人体动作数据投影至二维视频中获得传统可视化下的人体动作视频，其特征在于，还包括如下步骤：步骤1，从三维人体动作数据中提取三维骨架运动数据，并将其投影至二维视频中，获得二维骨架运动数据，并得出二维骨架位置信息；步骤2，创建与二维视频分辨率一致的二维半透明的图层；根据二维骨架位置信息对和图层分辨率一致的密度场进行初始化；步骤3，对密度场进行下采样，使用计算流体力学的方法，对密度场在人体运动下的变化进行仿真，仿真的边界条件根据二维骨架运动数据计算获得；步骤4，对变化后的密度场进行上采样，获得密度场半透明图层，并将其叠加至传统可视化下的人体动作视频中，或者使用流场可视化方法，对气流流速场进行采样，并将其结果进叠加至传统可视化下的人体动作视频中。

【技术特征摘要】
1.一种人体动作增强可视化方法，包括使用人体动作获取设备获得三维人体动作数据以及二维视频序列，并将三维人体动作数据投影至二维视频中获得传统可视化下的人体动作视频，其特征在于，还包括如下步骤：步骤1，从三维人体动作数据中提取三维骨架运动数据，并将其投影至二维视频中，获得二维骨架运动数据，并得出二维骨架位置信息；步骤2，创建与二维视频分辨率一致的二维半透明的图层；根据二维骨架位置信息对和图层分辨率一致的密度场进行初始化；步骤3，对密度场进行下采样，使用计算流体力学的方法，对密度场在人体运动下的变化进行仿真，仿真的边界条件根据二维骨架运动数据计算获得；步骤4，对变化后的密度场进行上采样，获得密度场半透明图层，并将其叠加至传统可视化下的人体动作视频中，或者使用流场可视化方法，对气流流速场进行采样，并将其结果进叠加至传统可视化下的人体动作视频中。2.根据权利要求1所述的一种人体动作增强可视化方法，其特征在于：步骤2中密度场初始化的方法为：将密度场映射至含透明通道的颜色值；密度为0处设为全透明，密度为1设为不透明；密度场的初始化使用二维扩散模型，设置二维骨架位置处的热源密度为1，使用二维标准热扩散模型计算密度场ρ的分布：(I-tL)ρ＝ρ0(1)其中t为时间常数控制热扩散的时间，L为离散格点上的Laplace矩阵，I为单位矩阵，ρ0为在二维骨架处的热源密度为1，其余位置处的热源密度为0时的密度场分布。3.根据权利要求1所述的一种人体动作增强可视化方法，其特征在于，步骤2中，密度场通过累加各高斯核函数沿着各骨骼的线积分获得：其中Ci为第i(i≥0)个骨骼的位置，K(r)为半径为r的高斯核函数，r是GaussianKernel的半径，dl是积分曲线上Ci的线单元，ρ(x，y)为密度场分布。4.根据权利要求1所述的一种人体动作增强可视化方法，其特征在于：步骤3中对密度场在人体运动下的变化进行仿真的具体步骤为：根据二维骨架位置信息，将其中的骨架格点处所受的外力设置为c(vs...

【专利技术属性】
技术研发人员：朱利丰，王梓安，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32