用于将测试帧序列与参考帧序列进行匹配的系统和方法技术方案

本发明专利技术公开了一种用于将测试帧序列与参考帧序列进行匹配的计算机实施的方法、计算机程序产品和计算机系统。对于参考帧序列的每一帧，姿态数据文件表示虚拟球面上的多个二维骨架投影。对于特定帧，球面上的每个二维骨架投影对应于来自不同视场角的第一人的三维骨架的二维参考姿态图像。测试帧序列表示第二人在进行体育锻炼时的运动。实时二维骨架检测器模块检测在测试帧序列的每个接收到的测试帧中的第二人的二维骨架。姿态匹配模块选择具有到当前测试帧中的第二人的二维骨架的最小数学距离的第一人的特定二维骨架投影，以将当前测试帧中的第二人的当前姿态与姿态数据文件的对应参考姿态图像进行匹配。对应参考姿态图像进行匹配。

【技术实现步骤摘要】
用于将测试帧序列与参考帧序列进行匹配的系统和方法


[0001]本专利技术总体上涉及电子数据处理，并且更具体地涉及用于将显示用户进行体育锻炼的测试帧序列与对应参考帧序列进行匹配的计算机实施的方法、计算机程序产品和系统。

技术介绍

[0002]一般而言，进行体育锻炼促进人类肌肉骨骼系统的健康，并且通常改善个体的健康状况。帮助患者在事故、手术、椎间盘突出等之后恢复其完全活动能力的物理治疗措施通常包括需要由患者正确地进行的专门体育锻炼。如果未正确地进行，此类锻炼甚至可能损害患者的健康。
[0003]虽然在医疗疗程中，经验丰富的物理治疗师或教练可以在进行锻炼期间观察患者，并提供关于如何正确地进行锻炼的指令，但是当患者在家中进行锻炼而没有物理治疗师或教练的监督时，这是不可能的。通常，非常有利的是在医疗疗程之间定期重复锻炼，以实现患者医疗状态的可持续改善。
[0004]存在向用户提供指令视频的商业应用，它们示出指导者的正确锻炼表现。然而，或者是如果锻炼被正确地进行或者未正确地进行时用户没有接收到反馈(如在医疗疗程中)，在这种情况下，当以不正确的方式进行锻炼时，用户的健康甚至可能恶化，或者是需要复杂的硬件装置，如来自德国柏林10587的etone运动分析股份有限公司(etone Motion Analysis GmbH) 的VAHA镜，或者由德国达尔戈
‑
德贝里茨14624的Pixformance体育股份有限公司 (Pixformance Sports GmbH)提供的PIXFORMANCE镜，其也包括深度传感器。此类硬件镜像解决方案包括需要复杂设置程序的大型装置。在设置之后，它们需要在固定位置操作。

技术实现思路

[0005]因此，需要一种应用，其能够以此类方式向用户提供指令，即通过确保在无人监督训练期间正确地进行体育锻炼而不需要特定的复杂硬件装置来防止对用户健康的损害。这是通过提供一种应用来实现的，该应用允许根据独立权利要求中描绘的实施例来识别由来自参考帧序列的视频的测试帧序列捕捉的所述用户的锻炼表现的偏差，该参考帧序列示出指导者进行正确的序列。
[0006]因此，所述实施例解决了进一步的技术问题。当试图将测试帧序列与参考帧序列进行匹配时，通常需要以与用于捕捉测试帧序列的摄像机相同的方式(即，在相同的视场角下)来定位用于捕捉测试帧序列的摄像机。在家庭环境中，这可能是有挑战性的，特别是在使用具有一体化摄像机的简单智能手机或平板电脑来捕捉测试帧序列的情况下。通常，此类装置不能容易地安装在相应位置。有时甚至用户进行锻炼的位置也不允许此类定位。因此，需要提供一种应用，其能够以这样的方式将测试帧序列与参考帧序列进行匹配，即当捕捉所述用户的锻炼表现时，不可知摄像机朝向用户的视场角。
[0007]该技术问题的解决通过实施例－根据独立权利要求的计算机实施的方法、计算机程序产品和计算机系统—以将示出用户(在进行所述体育锻炼的同时)的测试帧序列与对应参考帧序列(由教练/指导者演示体育锻炼的正确表现)进行匹配。
[0008]一种计算机系统，其将相应计算机程序产品加载到其存储器中，并且其利用一个或多个处理器来处理所加载的计算机程序，从而被配置成如下所述执行计算机实施的方法。
[0009]该计算机系统具有适于接收姿态数据文件的接口。例如，该姿态数据文件可以从如DVD 或USB装置等的数据载体中加载，或者可以从远程存储装置(例如，可经由因特网访问的服务器)中检索。该姿态数据文件基于三维关节坐标的列表(参考视频的每个特征帧一个列表)，三维关节坐标表示第一人(教练/指导者)的三维骨架的多个关节在相应帧中的位置。此类3D 关节坐标可以从参考视频中获得，例如，通过使用在DUSHYANT MEHTA等人的发表物“VNect：利用单个RGB摄像机进行实时3D人体姿态估计(VNect:Real
‑
time 3D Human PoseEstimation with a Single RGB Camera)”(ACM Transactions on Graphics期刊，第36卷第4期， 2017年7月，第44条)中描述的技术。本文详细描述了CNN的实施方案实例，其基于He 等人在“用于图像识别的深度残差学习(Deep Residual Learning for Image Recognition)”(IEEE 计算机视觉和模式识别会议，2016年)中的ResNet50网络架构。欧洲专利EP3656302详细描述了如何通过使用以上方法或类似SMPLify方法的其它方法来从所获得的视频流中提取三维步态信息(参阅Federica Bogo等人的“保持SMPL：从单个图像自动估计3D人体姿态和外形(Keep it SMPL:Automatic Estimation of 3D Human Pose and Shape from a Single Image)”，可获得自http://files.is.tue.mpg.de/black/papers/BogoECCV2016.pdf)。
[0010]对于参考帧序列的至少一个帧子集—特征帧子集，基于3D关节坐标的相应列表，将虚拟球面上的多个二维骨架投影存储在姿态数据文件中。该帧子集(即，特征帧子集)包含具有体育锻炼的特征姿态(即，清楚地允许表征体育锻炼的姿态，其使得可以基于此类姿态将体育锻炼与其它锻炼区分开)的一个或多个帧。例如，进行深蹲的特征姿态的子集可以包括第一特征帧和第二特征帧，第一特征帧示出第一人在深蹲中的姿态，第二特征帧示出第一人在直立位置中的姿态。因此，在每个球面的几何中心处放置一个特定关节。通常，将第一人的骨盆用作该特定中心关节。换句话说，特定帧在特定虚拟球体上的每个二维骨架投影对应于第一人的三维骨架在相应时间点处从不同视场角的二维参考姿态图像。在第一实施方案中，可以使用不同的同心虚拟球体，其中不同的半径反映2D骨架投影距3D中心关节的不同(物理)距离。在第二实施方案中，使用具有标准化半径的单个虚拟球体。在该实施方案中，摄像机与用户之间的(物理)距离变得无关。关于这两种实施方案的细节在具体实施方式中给出。例如，特定球面上的2D投影(其中骨盆在所述球体的赤道线上)对应于一个摄像机视场角，其中摄像机将在地面上方的对应于骨盆高度的高度处操作。赤道线上的投影反映围绕第一人的0至360度的任何视场角。例如，可以以每1度一个投影的分辨率来计算2D投影。当然，可以选择其它分辨率。
[0011]骨盆在球体上半部中的2D投影对应于摄像机位于高于第一人骨盆的位置处的情况。骨盆在球体下半部中的2D投影对应于摄像机位于低于第一人骨盆的位置处的情况。因此，对应于地面以下摄像机位置的2D投影当然不具有实际相关性，因为在真实世界场景中，
摄像机不能在用户的锻炼环境中定位在地面以下。
[0012]在第一实施方案中，对于给定的投影角度(即，视场角)，在具有不同半径的各种同心球面上的投影反映第一人与摄像机之间的不同距离。与在多个同心球体的内部球体上的投影相比，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于将测试帧序列(201)与参考帧序列(202)进行匹配的计算机实施的方法(1000)，所述参考帧序列(202)演示由第一人进行的体育锻炼，所述方法包含：接收(1100)姿态数据文件(203)，所述姿态数据文件基于表示所述第一人的三维骨架(10)的多个关节在相应帧(Fn)中的位置的三维关节坐标的列表，对于所述参考帧序列(202)的至少一个帧子集(Fr1至Frn)，来表示虚拟球面(203s，203')上的多个二维骨架投影(10p1，10p2，10p1'，10p2')，其中所述三维骨架的特定关节(10cj)位于所述球面(203s，203s')的几何中心处，其中所述子集(Fr1至Frn)的特定帧的每个二维骨架投影(10p1，10p2)对应于来自不同视场角的所述第一人的所述三维骨架(10)的二维参考姿态图像，其中所述二维参考姿态图像是所述体育锻炼的特征姿态；接收(1200)所述测试帧序列(201)，所述测试帧序列表示第二人(2)在模仿所述体育锻炼(t1
‑
t2
‑
t3)时的运动，所述测试帧序列由摄像机装置(200)在特定角度处捕捉；用实时二维骨架检测器检测(1300)在所述测试帧序列的当前测试帧中的所述第二人(2)的二维骨架(20)，其中所述第二人的所述二维骨架是所述第二人在相应测试帧中的姿态的二维表示；以及选择(1400)具有到所述当前测试帧(Fc)中的所述第二人的所述二维骨架(20)的最小数学距离的所述第一人的特定二维骨架投影(10p1)，以将所述当前测试帧(Fc)中的所述第二人(2)的当前姿态与所述姿态数据文件中的对应参考姿态表示进行匹配，所述特定二维骨架投影表示在对应于所述摄像机装置的所述特定角度的视场角处的所述对应参考姿态。2.根据权利要求1所述的方法，其还包含：接近实时地将当前测试帧(Fc')可视化(1450)给所述第二人，所述当前测试帧(Fc')包括所述第二人的对应二维骨架的表示。3.根据权利要求1或2所述的方法，其还包含：确定(1500)所述当前姿态到所述对应参考姿态的数学距离，其中所述距离是指示所述第二人是否在正确地进行所述体育锻炼的量度；以及在未正确地进行所述体育锻炼的情况下，向所述第二人指示(1600)关于如何修正所述当前姿态的姿态修正反馈(10pf)。4.根据权利要求3所述的方法，其中所述姿态数据文件包括将关节子集分组到对应身体部位的每一帧的注释，所述方法还包含：为所述当前测试帧指示超过预定临界距离的身体部位；以及提供关于所指示的身体部位如何改变所述当前姿态的反馈，直到所述身体部位的当前距离降到所述临界距离以下为止。5.根据权利要求3或4所述的方法，其中将所述姿态修正反馈(10pf)作为视觉信息或声音信息输出到所述第二人(2)。6.根据前述权利要求中任一项所述的方法，进一步包括在选择所述特定二维骨架投影之前：将检测到的2D骨架转换成标准化二维骨架，其中所述2D骨架的每个关节连接除以所述二维骨架的高度，其中所述虚拟球面(203s)被标准化成半径等于一，其中每个二维骨架投影(10p1，10p2)是来自不同视场角(Φ，θ)的所述三维骨架的标准化二维表示。7.根据前述权利要求中任一项所述的方法，其中选择(1400)所述第一人的特定二维骨
架投影(10p1)还包含：将所述当前测试帧(Fc)中的所述第二人的所述二维骨架提供给神经网络(122)以预测与所述当前测试帧相关联的视角(r，Φ，θ)，所述神经网络(122)用示出进行锻炼时的用户姿态的多个训练帧作为输入来训练，其中每个训练帧用对应视角(r，Φ，θ)作为地面实况来注释；以及选择位于对应于所预测的视角(r，Φ，θ)的球体坐标处的所述第一人的所述特定二维骨架投影(10p1)。8.一种用于将测试帧序列与参考帧序列进行匹配的计算机程序产品，所述参考帧序列演示由第一人进行的体育锻炼，所述计算机程序产品在被加载到计算装置的存储器中并由所述计算装置的至少一个处理器执行时，使所述至少一个处理器执行根据前述权利要求中...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：林德拉股份有限公司，
类型：发明
国别省市：