具有隐私保护功能的运动障碍评估录像分析方法及设备技术

本发明专利技术提供一种具有隐私保护功能的运动障碍评估录像分析方法及设备，所述方法包括：获取运动障碍评估录像；对所述录像中的人物进行换脸处理；在换脸处理后的所述录像中识别关键点；根据所述关键点随录像时间的变化确定用于辅助诊断疾病的运动特征。根据本发明专利技术提供的运动障碍评估录像分析方法和设备，对运动障碍评估录像进行处理得到换脸后的录像，该录像中能够保留用户的表情和光影，而具备公共人物的样貌，由此达到保护用户隐私的目的。通过在运动障碍评估录像中提取人体的关键点，并监测关键点随着录像进程的变化，来确定与疾病有关的运动特征，由此得到可量化的疾病关键诊断指标，能够有效辅助医生对相关疾病做出诊断。

【技术实现步骤摘要】
具有隐私保护功能的运动障碍评估录像分析方法及设备
本专利技术涉及医学影像分析领域，具体涉及一种具有隐私保护功能的运动障碍评估录像分析方法及设备。
技术介绍
人的面部表情或者身体姿态能够反映一些疾病情况，比如帕金森病可引起表情冻结和行动障碍，医生通过判断患者的眨眼动作、张嘴情况和行走状态等等，能够做出相应的诊断。有此类障碍的患者出行很不方便，为此可以通过录像的方式记录患者的实际情况，医生可观看录像来进行初步诊断。但是录像内容缺乏可量化的指标，过分依靠医生的经验和主观判断，这使得患者的运动录像医学价值有限，实用性有待提高。另外，运动障碍评估录像中包含患者本人样貌，容易泄露患者的身份、损害患者的隐私。现有的视频隐私保护技术一般是通过对脸部区域添加马赛克或是修改脸部的像素值，这类处理方式完全消除了脸部的信息，无法评判一些疾病在脸部体现的信息。
技术实现思路
有鉴于此，本专利技术提供一种具有隐私保护功能的运动障碍评估录像分析方法，包括：获取运动障碍评估录像；对所述录像中的人物进行换脸处理；在换脸处理后的所述录像中识别人体的关键点；根据所述关键点随录像时间的变化确定用于辅助诊断疾病的运动特征。可选地，对所述录像中的人物进行换脸处理，包括：利用编码网络对录像中的人脸图像进行特征提取得到特征数据，其中所述人脸图像是人脸自眉毛至下巴的脸部区域的图像；利用解码网络根据所述特征数据得到重建人脸图像；利用重建人脸图像替换所述录像中的人脸图像。可选地，当录像中的人脸图像是侧脸图像时，利用编码网络对录像中的人脸图像进行特征提取得到特征数据，包括：将录像中的侧脸图像转换为正脸图像；利用编码网络对所述正脸图像进行特征提取得到特征数据；利用重建人脸图像替换所述录像中的人脸图像，包括：将重建正脸图像转换为重建侧脸图像；利用重建侧脸图像替换所述录像中的侧脸图像。可选地，在利用调整后的重建人脸图像替换所述录像中的人脸图像之前，还包括：根据所述录像中的人脸图像的像素值调整所述重建人脸图像的像素值，使调整后的重建人脸图像与所述录像中的人脸图像的颜色直方图相匹配。可选地，对所述录像中的人物进行换脸处理，包括：在所述录像中进行人脸检测；排除错误识别信息；对排除错误识别信息后的人脸检测位置时间序列做时间窗中值平滑，以稳定人脸检测位置。可选地，排除错误识别信息包括：将首次无法检测到脸部直至最后一次无法检测到脸部的时间之内的人脸检测信息删除；和/或使用缺失的人脸检测信息前、后帧人脸检测信息进行插值，以填补缺失的人脸检测信息。可选地，所述关键点包括面部关键点；根据所述关键点随录像时间的变化确定用于辅助诊断疾病的运动特征，包括：根据所述面部关键点确定相应的面部区域；根据所述面部区域随录像时间的变化确定用于辅助诊断疾病的面部表情特征。可选地，所述面部关键点包括多个眼周关键点；根据所述关键点随录像时间的变化确定用于辅助诊断疾病的运动特征，包括：根据所述多个眼周关键点确定相应的眼部区域；根据所述眼部区域随录像时间的变化确定睁眼面积的变化；根据所述睁眼面积的变化确定眨眼频率。可选地，所述面部关键点包括多个嘴周关键点；根据所述关键点随录像时间的变化确定用于辅助诊断疾病的运动特征，包括：根据所述多个嘴周关键点确定的嘴部区域；根据所述嘴部区域随录像时间的变化确定张嘴面积的变化。可选地，所述关键点包括踝关键点；根据所述关键点随录像时间的变化确定用于辅助诊断疾病的运动特征，包括：根据所述踝关键点的位置随录像时间的变化确定迈步动作；根据所述迈步动作确定步频信息。可选地，所述关键点包括多个手指关节关键点；根据所述关键点随录像时间的变化确定用于辅助诊断疾病的运动特征，包括：根据所述手指关节关键点的位置随录像时间的变化确定食指、大拇指捏合动作；根据所述捏合动作确定食指、拇指捏合的频率、幅度、随时间变化趋势。可选地，所述关键点包括多个手指关节关键点；根据所述关键点随录像时间的变化确定用于辅助诊断疾病的运动特征，包括：根据所述手指关节关键点的位置随录像时间的变化确定握拳动作；根据所述握拳动作确定握拳频率。可选地，所述关键点包括手腕关键点、手肘关键点；根据所述关键点随录像时间的变化确定用于辅助诊断疾病的运动特征，包括：根据所述手腕关键点、手肘关键点的位置随录像时间的变化确定轮替动作；根据所述轮替动作确定旋转手臂的速度。可选地，所述关键点包括髋关节关键点、肩关节关键点、膝盖关键点、踝关键点；根据所述关键点随录像时间的变化确定用于辅助诊断疾病的运动特征，包括：根据所述髋关节关键点、肩关节关键点、膝盖关键点、踝关键点的位置随录像时间的变化确定步态；根据所述步态确定重心偏移信息、重心晃动程度信息。可选地，在所述录像中识别关键点，包括：利用神经网络对所述录像中的各帧图像进行识别，得到关键点分布概率信息；根据所述关键点分布概率信息确定关键点的位置。相应地，本专利技术还提供一种具有隐私保护功能的运动障碍评估录像分析设备，包括至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述具有隐私保护功能的运动障碍评估录像分析方法。根据本专利技术实施例提供的运动障碍评估录像分析方法及设备，对运动障碍评估录像进行处理得到换脸后的录像，该录像中能够保留用户的表情和光影，而具备公共人物的样貌，由此达到保护用户隐私的目的，并且对表情具有较高的还原度。通过在运动障碍评估录像中提取人体的关键点，并监测关键点随着录像进程的变化，来确定与疾病有关的运动特征，由此得到可量化的疾病关键诊断指标，使得运动录像更具医学价值，能够有效辅助医生对相关疾病做出诊断，具有较强的实用性。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例中的运动障碍评估录像分析方法的流程图；图2为本专利技术实施例中一个标记了关键点的图像；图3为本专利技术实施例中利用神经网络模型得到的关键点分布概率图；图4为本专利技术实施例中的睁眼面积与录像进程的关系图；图5为本专利技术实施例中的脚踝距离与录像进程的关系图；图6为本专利技术实施例中的换脸网络在训练阶段的工作原理图；图7为本专利技术实施例中的一个具体的换脸网络在训练阶段的工作原理图；图8为本专利技术实施例中的换脸网络在换脸阶段本文档来自技高网...

【技术保护点】
1.一种具有隐私保护功能的运动障碍评估录像分析方法，其特征在于，包括：/n获取运动障碍评估录像；/n对所述录像中的人物进行换脸处理；/n在换脸处理后的所述录像中识别人体的关键点；/n根据所述关键点随录像时间的变化确定用于辅助诊断疾病的运动特征。/n

【技术特征摘要】
1.一种具有隐私保护功能的运动障碍评估录像分析方法，其特征在于，包括：
获取运动障碍评估录像；
对所述录像中的人物进行换脸处理；
在换脸处理后的所述录像中识别人体的关键点；
根据所述关键点随录像时间的变化确定用于辅助诊断疾病的运动特征。


2.根据权利要求1所述的方法，其特征在于，对所述录像中的人物进行换脸处理，包括：
利用编码网络对录像中的人脸图像进行特征提取得到特征数据，其中所述人脸图像是人脸自眉毛至下巴的脸部区域的图像；
利用解码网络根据所述特征数据得到重建人脸图像；
利用重建人脸图像替换所述录像中的人脸图像。


3.根据权利要求2所述的方法，其特征在于，当录像中的人脸图像是侧脸图像时，利用编码网络对录像中的人脸图像进行特征提取得到特征数据，包括：
将录像中的侧脸图像转换为正脸图像；
利用编码网络对所述正脸图像进行特征提取得到特征数据；
利用重建人脸图像替换所述录像中的人脸图像，包括：
将重建正脸图像转换为重建侧脸图像；
利用重建侧脸图像替换所述录像中的侧脸图像。


4.根据权利要求2或3所述的方法，其特征在于，在利用调整后的重建人脸图像替换所述录像中的人脸图像之前，还包括：
根据所述录像中的人脸图像的像素值调整所述重建人脸图像的像素值，使调整后的重建人脸图像与所述录像中的人脸图像的颜色直方图相匹配。


5.根据权利要求1所述的方法，其特征在于，对所述录像中的人物进行换脸处理，包括：
在所述录像中进行人脸检测；
排除错误识别信息；
对排...

【专利技术属性】
技术研发人员：眭亚楠，朱秉泉，李路明，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11