基于双目图像的人体平衡能力评估方法、系统及设备技术方案

本发明专利技术涉及人工智能领域，具体涉及一种基于双目图像的人体平衡能力评估方法、系统及设备，旨在提高评估效率。本发明专利技术的评估方法包括：针对受试者在闭眼状态下的P种规定姿态，分别获取每种规定姿态下预设时间长度的双目图像；将第一路图像和/或第二路图像输入预设的睁闭眼识别模型和预设的姿态识别模型，判断受试者是否处于闭眼状态且按规定顺序做出P种规定姿态；计算受试者在每个拍摄时刻的人体3D关键点；根据每种规定姿态下不同拍摄时刻的3D关键点生成一个时间序列，从而得到P个时间序列，再分别输入到P个预设的平衡性评估模型，得到P个平衡性等级，求平均值并取整，得到平衡性等级。本发明专利技术的方法不但成本较低，而且提高了评估效率。率。率。

【技术实现步骤摘要】
基于双目图像的人体平衡能力评估方法、系统及设备


[0001]本专利技术涉及人工智能领域，具体涉及一种基于双目图像的人体平衡能力评估方法、系统及设备。

技术介绍

[0002]平衡能力是重要的人体运动能力综合性评判指标，实际应用中常见以下三种方式进行评估：(1)压力板装置，该装置收集脚底板的压力变换，并对其形成的数据进行分析，评估人体平衡能力；(2)可穿戴设备，该设备上带有诸多传感器，如陀螺仪等，实时获取人体多个点位的运动数据，通过分析这些数据对人体平衡能力进行评估；(3)Berg平衡性测试，该测试由14个动作组成，每一个动作根据受试者表现分为4个等级，观察者根据自己的判断并对应4个等级评判标准进行填表打分，最终综合14项结果，给出最后的人体平衡等级。
[0003]针对上述相关技术，专利技术人认为：采用(1)和(2)的方法需要在专业人员指导下，利用特殊设备(压力板或可穿戴设备)，采集人体特定动作的运动数据，根据这些数据的特征进行数学建模，评估人体平衡性等级，所以资金与人力成本较高，另外对于压力板来说，因为足底需要与压力板接触，还需要增加消毒维护成本。采用(3)的方法需要在专业人员指导下，对规定的14个项目逐一测试、打分，最后综合打分结果评估人体平衡性等级，该方法无需特殊设备，但耗时长，且打分结果容易受到观察者主观因素的影响。

技术实现思路

[0004]为了解决现有技术中的上述问题，本专利技术提出了一种基于双目图像的人体平衡能力评估方法、系统及设备，降低了成本并提高了效率。
[0005]本专利技术的第一方面，提出一种基于双目图像的人体平衡能力评估方法，所述方法包括：
[0006]针对受试者在闭眼状态下的P种规定姿态，分别获取每种所述规定姿态下预设时间长度的双目图像，所述双目图像包括第一路图像和第二路图像；
[0007]将所述第一路图像和/或所述第二路图像输入预设的睁闭眼识别模型和预设的姿态识别模型，判断所述受试者是否处于闭眼状态且按规定顺序做出P种所述规定姿态；
[0008]根据所述双目图像计算所述受试者在每个拍摄时刻的人体3D(3Dimensions，三维)关键点；
[0009]根据每种所述规定姿态下不同拍摄时刻的所述3D关键点生成一个时间序列，从而得到与P种所述规定姿态一一对应的P个时间序列；
[0010]将P个时间序列分别输入到P个预设的平衡性评估模型，得到P个平衡性等级；
[0011]对P个所述平衡性等级求平均值并取整，得到所述受试者的人体平衡性等级。
[0012]优选地，“针对受试者在闭眼状态下的P种规定姿态，分别获取每种所述规定姿态下预设时间长度的双目图像”的步骤包括：
[0013]利用双目相机装置拍摄双目图像，所述双目相机装置包括：第一相机、第二相机，
所述第一相机和所述第二相机同时对所述受试者进行拍摄，分别采集所述第一路图像和所述第二路图像；拍摄时，所述受试者闭眼站在指定站立点，按规定顺序做出P种所述规定姿态，且每种姿态保持所述预设时间长度。
[0014]优选地，计算受试者在某个拍摄时刻的所述3D关键点的步骤包括：
[0015]基于预设的人体2D(2Dimensions，二维)关键点获取模型，分别根据所述第一路图像和所述第二路图像，获取该拍摄时刻的第一2D关键点和第二2D关键点；所述第一2D关键点和所述第二2D关键点均为N个，且一一对应；
[0016]根据所述双目相机的内参矩阵和外参矩阵，以及所述第一2D关键点和所述第二2D关键点，利用三角化方法计算出该拍摄时刻的N个所述3D关键点。
[0017]优选地，“根据每种所述规定姿态下不同拍摄时刻的所述3D关键点生成一个时间序列，从而得到与P种所述规定姿态一一对应的P个时间序列”的步骤包括：
[0018]将每个所述3D关键点的坐标由相机坐标系转换为世界坐标系；
[0019]将所述受试者的基础信息分别进行归一化，再与每个拍摄时刻的世界坐标系下的3D关键点的坐标拼接成一个向量；
[0020]将每种所述规定姿态下的各拍摄时刻的所述向量组成一个时间序列，从而得到与P种所述规定姿态一一对应的P个时间序列。
[0021]优选地，P个所述预设的平衡性评估模型的训练步骤包括：
[0022]对多个被测试者，分别利用所述第一相机和所述第二相机同时进行拍摄，得到原始数据集；拍摄时，所述被测试者闭眼站在所述指定站立点，按照所述规定顺序做出P种所述规定姿态，且每种姿态保持所述预设时间长度；
[0023]根据该原始数据集计算每个所述被测试者在每个拍摄时刻的人体3D关键点，并将所有被测试者的3D关键点坐标由相机坐标系转换为世界坐标系；
[0024]针对每个所述被测试者，将被测试者的基础信息分别进行归一化，再与每个拍摄时刻的世界坐标系下的3D关键点的坐标拼接成一个向量；
[0025]针对每个所述被测试者，将每种所述规定姿态下各拍摄时刻对应的向量组成一个时间序列样本，从而得到该被测试者在P种所述规定姿态下的P个时间序列样本；
[0026]将所有的所述时间序列样本分别加上平衡性等级标签，并按所述规定姿态进行分类，生成P个第一训练样本集；
[0027]利用P个所述第一训练样本集，分别对平衡性评估模型框架进行训练得到P个训练好的所述预设的平衡性评估模型。
[0028]优选地，所述预设的睁闭眼识别模型的训练步骤包括：
[0029]将所述原始数据集中的每幅图像加上睁眼或闭眼标签，生成第二训练样本集；
[0030]利用所述第二训练样本集对睁闭眼识别模型框架进行训练，得到所述预设的睁闭眼识别模型。
[0031]优选地，所述预设的姿态识别模型的训练步骤包括：
[0032]将所述原始数据集中的每幅图像加上姿态标签，生成第三训练样本集；
[0033]利用所述第三训练样本集对姿态识别模型框架进行训练，得到所述预设的姿态识别模型。
[0034]优选地，P为预设值，取值范围为[1，10]；
[0035]N为预设值，取值范围为[9，33]；
[0036]所述基础信息包括：所述受试者的性别、年龄、身高和体重；
[0037]所述预设时间长度的取值范围为30
±
10秒；
[0038]所述第一相机和所述第二相机的拍摄频率均为25
±
5帧/秒。
[0039]本专利技术的第二方面，提出一种基于双目图像的人体平衡能力评估系统，所述系统包括：
[0040]图像获取模块，用于针对受试者在闭眼状态下的P种规定姿态，分别获取每种所述规定姿态下预设时间长度的双目图像，所述双目图像包括第一路图像和第二路图像；
[0041]判断模块，用于将所述第一路图像和/或所述第二路图像输入预设的睁闭眼识别模型和预设的姿态识别模型，判断所述受试者是否处于闭眼状态且按规定顺序做出P种所述规定姿态；
[0042]关键点计算模块，用于根据所述双目图像计算所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目图像的人体平衡能力评估方法，其特征在于，所述方法包括：针对受试者在闭眼状态下的P种规定姿态，分别获取每种所述规定姿态下预设时间长度的双目图像，所述双目图像包括第一路图像和第二路图像；将所述第一路图像和/或所述第二路图像输入预设的睁闭眼识别模型和预设的姿态识别模型，判断所述受试者是否处于闭眼状态且按规定顺序做出P种所述规定姿态；根据所述双目图像计算所述受试者在每个拍摄时刻的人体3D关键点；根据每种所述规定姿态下不同拍摄时刻的所述3D关键点生成一个时间序列，从而得到与P种所述规定姿态一一对应的P个时间序列；将P个时间序列分别输入到P个预设的平衡性评估模型，得到P个平衡性等级；对P个所述平衡性等级求平均值并取整，得到所述受试者的人体平衡性等级。2.根据权利要求1所述的基于双目图像的人体平衡能力评估方法，其特征在于，“针对受试者在闭眼状态下的P种规定姿态，分别获取每种所述规定姿态下预设时间长度的双目图像”的步骤包括：利用双目相机装置拍摄双目图像，所述双目相机装置包括：第一相机、第二相机，所述第一相机和所述第二相机同时对所述受试者进行拍摄，分别采集所述第一路图像和所述第二路图像；拍摄时，所述受试者闭眼站在指定站立点，按规定顺序做出P种所述规定姿态，且每种姿态保持所述预设时间长度。3.根据权利要求2所述的基于双目图像的人体平衡能力评估方法，其特征在于，计算受试者在某个拍摄时刻的所述3D关键点的步骤包括：基于预设的人体2D关键点获取模型，分别根据所述第一路图像和所述第二路图像，获取该拍摄时刻的第一2D关键点和第二2D关键点；所述第一2D关键点和所述第二2D关键点均为N个，且一一对应；根据所述双目相机的内参矩阵和外参矩阵，以及所述第一2D关键点和所述第二2D关键点，利用三角化方法计算出该拍摄时刻的N个所述3D关键点。4.根据权利要求3所述的基于双目图像的人体平衡能力评估方法，其特征在于，“根据每种所述规定姿态下不同拍摄时刻的所述3D关键点生成一个时间序列，从而得到与P种所述规定姿态一一对应的P个时间序列”的步骤包括：将每个所述3D关键点的坐标由相机坐标系转换为世界坐标系；将所述受试者的基础信息分别进行归一化，再与每个拍摄时刻的世界坐标系下的3D关键点的坐标拼接成一个向量；将每种所述规定姿态下的各拍摄时刻的所述向量组成一个时间序列，从而得到与P种所述规定姿态一一对应的P个时间序列。5.根据权利要求2所述的基于双目图像的人体平衡能力评估方法，其特征在于，P个所述预设的平衡性评估模型的训练步骤包括：对多个被测试者，分别利用所述第一相机和所述第二相机同时进行拍摄，得到原始数据集；拍摄时，所述被测试者闭眼站在所述指定站立点，按照所述规定顺序做出P种所述规定姿态，且每种姿态保持所述预设时间长度；根据该原始数据集计算每个所述被测试者在每个拍摄时刻的人体3D关键点，并将所有被测试者的3D关键点坐标由相机坐标系转换为世界坐标系；
针对每个所述被测试者，将被测...

【专利技术属性】
技术研发人员：赵韡，胡安易，刁晓林，史培元，饶卿寻，唐艺纯，高子昱，
申请(专利权)人：中国医学科学院阜外医院，
类型：发明
国别省市：