用于康复训练的基于视觉的运动捕获系统技术方案

本发明专利技术包括一种方法和装置。该装置包括计算机代码，该计算机代码被配置为使一个或多个处理器执行：获得包括人的至少一个身体部位的视频数据；基于预定的康复类别，选择至少一个身体部位的关键点；从视频数据中提取至少一个身体部位的运动特征；基于预定的康复类别，对运动特征进行评分；以及生成图示运动特征和该运动特征的所述评分的显示。运动特征的所述评分的显示。

【技术实现步骤摘要】
【国外来华专利技术】用于康复训练的基于视觉的运动捕获系统


[0001]本公开涉及关于用于康复训练的基于视觉的运动捕获系统(VMCS)的技术方案。

技术介绍

[0002]物理治疗师可以为诸如患有运动功能障碍相关疾病和/或损伤的患者(包括老年人)提供物理康复。然而，这样的康复训练需要专业物理治疗师亲自监督，当患者进行康复锻炼时，还需要康复专家的继续指导。这样，训练和锻炼需要这些专业人员和专家对这样的患者进行辛勤的监测和关注，需要大量时间和精力帮助康复工作。另外，即使没有专业人员和专家，预计患者自己训练(例如在家中而不是在诊所)会缺乏由物理治疗师提供的专业康复经验和指导，从而导致康复表现不佳，甚至导致进一步的身体伤害。
[0003]诸如通过基于传感器的方法(例如，可穿戴相机、红外相机)使评估系统自动化的尝试，使用起来复杂、昂贵并且可扩展性不足。例如，这样的基于传感器的运动捕获系统(SMCS)在技术上是不够的，因为至少需要特定的硬件、获得处理数据的专门编程、捕获人体运动的复杂要求，这样的软件和硬件成本高，从而限制了关于康复训练的实际应用。

技术实现思路

[0004]本专利技术包括一种方法和装置。该装置包括：存储器，其被配置为存储计算机程序代码；以及一个或多个处理器，其被配置为访问计算机程序代码并且如计算机程序代码指示的进行操作。计算机程序代码包括：获得代码，其被配置使至少一个处理器获得包括人的至少一个身体部位的视频数据；选择代码，其被配置使至少一个处理器基于预定的康复类别，选择至少一个身体部位的关键点；提取代码，其被配置使至少一个处理器从视频数据中提取至少一个身体部位的运动特征；评分代码，其被配置为使至少一个处理器基于预定的康复类别，对运动特征进行评分(即确定其评分)；以及生成代码，其被配置为使至少一个处理器生成图示运动特征和该运动特征的评分的显示。
[0005]根据示例性实施例，所述根据视频数据对至少一个身体部位的运动特征进行评分，包括：确定关键点距离和角度中的至少一个，该关键点距离包括人的至少一个身体部位的多个关键点之间的欧几里得距离，该角度包括人的至少一个身体部位的部分之间的角度。
[0006]根据示例性实施例，计算机代码进一步包括缩放代码，该缩放代码被配置为使至少一个处理器基于人的身高，将人的至少一个身体部位缩放到预定大小，所述基于预定的康复类别，对运动特征进行评分，包括：在对人的至少一个身体部位缩放之后，进行评分。
[0007]根据示例性实施例，计算机代码进一步包括应用代码，该应用代码被配置为使至少一个处理器将一个或多个高斯滤波器应用于运动特征。
[0008]根据示例性实施例，所述生成图示运动特征和该运动特征的评分的显示，包括：在视频中绘制运动特征。
[0009]根据示例性实施例，其中所述基于预定的康复类别，选择至少一个身体部位的关
键点，包括：通过深度神经网络(DNN)预测预定的康复类别，该DNN被配置为预测表示关键点相对于至少一个身体部位的可能位置的N个可能区域，N是整数。
[0010]根据示例性实施例，所述通过DNN预测预定的康复类别，包括：将包括人的至少一个身体部位的视频数据与多个锚定姿态进行比较，多个锚定姿态各自包括一些预定的康复类别的姿态，所述一些预定的康复类别包括所述预定的康复类别。
[0011]根据示例性实施例，所述通过DNN预测预定的康复类别，包括：对N*K个姿态区域进行排序，其中，K是一指示人体的预定关键点的数目的整数。
[0012]根据示例性实施例，所述生成图示运动特征和该运动特征的评分的显示，包括：生成显示，使得锚定姿态中的至少一个被图示为覆盖在人的至少一个身体部位上。
[0013]根据示例性实施例，其中人的至少一个身体部位的视频数据包括通过单目相机获得的人的至少一个身体部位的红
‑
绿
‑
蓝(RGB)图像。
附图说明
[0014]从以下详细描述和附图中，所公开的主题的进一步的特征、性质和各种优点将更加显而易见，在附图中：
[0015]图1是根据实施例的示意图的简化图示。
[0016]图2是根据实施例的示意图的简化图示。
[0017]图3是根据实施例的图的简化图示。
[0018]图4是根据实施例的流程图的简化图示。
[0019]图5是根据实施例的图的简化图示。
[0020]图6是根据实施例的图的简化图示。
[0021]图7是根据实施例的图的简化图示。
[0022]图8是根据实施例的图的简化图示。
[0023]图9是根据实施例的图的简化图示。
[0024]图10是根据实施例的图的简化图示。
[0025]图11是根据实施例的流程图的简化图示。
具体实施方式
[0026]以下讨论的所提出的特征可以单独使用或以任何顺序组合使用。进一步地，实施例可以通过处理电路(例如，一个或多个处理器或一个或多个集成电路)来实现。在一个示例中，一个或多个处理器执行存储在非易失性计算机可读介质中的程序。
[0027]图1图示了根据本公开的实施例的通信系统100的简化框图。通信系统100可以包括经由网络105互连的至少两个终端102和103。对于数据的单向传输，第一终端103可以在本地位置对视频数据进行编码，以经由网络105传输到另一个终端102。第二终端102可以从网络105接收另一个终端的已编码视频数据，对已编码数据进行解码并且显示恢复的视频数据。单向数据传输在媒体服务应用等中可能是常见的。
[0028]图1图示了第二对终端101和104，它们被设置用于支持例如在视频会议期间可能发生的已编码视频的双向传输。对于数据的双向传输，每个终端101和104可以对在本地位置捕获的视频数据进行编码，以便经由网络105传输到另一个终端。每个终端101和104还可
以接收由另一个终端发送的已编码视频数据，可以对已编码数据进行解码，并且可以在本地显示设备上显示恢复的视频数据。
[0029]在图1中，终端101、102、103和104可能图示为服务器、个人计算机和智能手机，但是本公开的原理不限于此。本公开的实施例适用于膝上型计算机、平板计算机、媒体播放器和/或专用视频会议设备。网络105表示在终端101、102、103和104当中传送已编码视频数据的任意数量的网络，包括例如有线和/或无线通信网络。通信网络105可以在电路交换和/或分组交换信道中交换数据。代表性网络包括电信网络、局域网、广域网和/或因特网。为了本讨论的目的，网络105的架构和拓扑对于本公开的操作可能是不重要的，除非在下文中说明。
[0030]图2作为所公开主题的应用的示例图示了视频编码器和解码器在流式传输环境中的布置。所公开的主题可以等同适用于其它支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、记忆棒等数字媒体上存储压缩视频等。
[0031]流式传输系统可以包括捕获子系统203，捕获子系统203可以包括视频源2本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种能够由至少一个处理器执行的基于视频的运动捕获方法，其特征在于，所述方法包括：获得包括人的至少一个身体部位的视频数据；在所述视频数据中，基于预定的康复类别，选择所述至少一个身体部位的关键点；从所述视频数据中提取所述至少一个身体部位的运动特征；基于所述预定的康复类别，确定所述运动特征的评分；以及生成图示所述运动特征和所述运动特征的评分的显示。2.根据权利要求1所述的方法，其特征在于，从所述视频数据中确定所述至少一个身体部位的运动特征的评分，包括：确定关键点距离和角度中的至少一个，其中所述关键点距离包括所述人的所述至少一个身体部位的多个关键点之间的欧几里得距离，所述角度包括所述人的所述至少一个身体部位的部分之间的角度。3.根据权利要求2所述的方法，其特征在于，进一步包括：基于所述人的身高，将所述人的所述至少一个身体部位缩放到预定大小，所述基于所述预定的康复类别，确定所述运动特征的评分，包括：在对所述人的所述至少一个身体部位缩放之后，进行所述评分。4.根据权利要求3所述的方法，其特征在于，进一步包括：将一个或多个高斯滤波器应用于所述运动特征。5.根据权利要求1所述的方法，其特征在于，所述生成图示所述运动特征和所述运动特征的评分的显示，包括：在所述视频中绘制所述运动特征。6.根据权利要求1所述的方法，其特征在于，所述基于预定的康复类别，选择所述至少一个身体部位的关键点，包括：通过深度神经网络(DNN)预测所述预定的康复类别，所述DNN被配置为预测表示所述关键点相对于所述至少一个身体部位的可能位置的N个可能区域，其中，N是正整数。7.根据权利要求6所述的方法，其特征在于，所述通过DNN预测所述预定的康复类别，包括：将所述包括人的至少一个身体部位的视频数据与多个锚定姿态进行比较，所述多个锚定姿态各自包括一些预定的康复类别的姿态，所述一些预定的康复类别包括所述预定的康复类别。8.根据权利要求7所述的方法，其特征在于，所述通过DNN预测所述预定的康复类别，包括：对N*K个姿态区域进行排序，其中，K是一指示人体的预定关键点的数目的整数。9.根据权利要求7所述的方法，其特征在于，所述生成图示所述运动特征和所述运动特征的评分的显示，包括：生成所述显示，使得所述锚定姿态中的至少一个被图示为覆盖在所述人的所述至少一个身体部位上。10.根据权利要求1所述的方法，其特征在于，所述人的所述至少一个身体部位的视频数据包括通过单目相机获得的所述人的所述
至少一个身体部位的红
‑
绿
‑
蓝(RGB)图像。11.一种用于视频编码的装置，其特征在于，所述装置包括：至少一个存储器，其被配置为存储计算机程序代码；至少一个处理器，其被配置为访问所述计算机程序代码并且如所述计算机程序代码指示的进行操作，所述计算机程序代码包括：获得代码，其被配置为使所述至少一个处理器获得包括人的至少一个身体部位的视频数据；选择代码...

【专利技术属性】
技术研发人员：林斯姚，杨陶，黄超，钱真，范伟，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：