基于可穿戴设备的立体色块障碍测试的方法和系统技术方案

本发明专利技术涉及一种基于可穿戴设备的立体色块障碍测试模型的训练方法，包括：通过可穿戴设备采集用户在立体色块障碍测试中产生的多模态信号；对所述多模态信号进行预处理并划分为多个信号片段；根据所述用户的动作类型标定所述多模态信号片段；利用所述标定后的多模态信号片段训练神经网络。

The method and system of three-dimensional color block obstacle test based on wearable device

【技术实现步骤摘要】
基于可穿戴设备的立体色块障碍测试的方法和系统
本专利技术涉及医疗康复以及深度学习领域，尤其涉及一种基于可穿戴设备的立体色块障碍测试的方法和系统。
技术介绍
本部分的陈述仅仅是为了提供与本专利技术相关的背景信息，以帮助理解本专利技术，这些背景信息并不一定构成现有技术。人类的认知能力会随着年龄的增长逐渐衰退，表现出语言表达、视觉空间、执行力、专注度、记忆力、信息接收和处理能力等多个方面不同程度的减弱，同时轻度认知功能障碍、阿尔兹海默综合症、帕金森综合症等神经类疾病的发病率也逐年升高。针对上述神经类疾病的诊断中，运动能力评估是其中一项重要环节，尤其是上肢灵活度的临床评估，能够为患者确诊提供除问询外的有效衡量标准，对患者的精准诊断和干预治疗至关重要。立体色块障碍测试(BoxandBlockTest，BBT)通过检测患者能否在单位时间内成功移动若干数量的立体色块来评估其上肢灵活性和运动协调能力。立体色块障碍测试因简单易用，被广泛应用在脑卒中、阿尔兹海默和轻度认知功能障碍等疾病的诊断中。然而，在传统的立体色块障碍测试评估方法中，治疗师往往需要录制患者测试过程中的视频并在测试后对视频进行分析。这一方面需耗费较多人力和时间，效率低下；另一方面也因人工分析具有较大的主观性，评分可靠性较低。相较于传统立体色块障碍测试，自动化的测试方法更为便捷。目前，大多数自动化测试方法基于深度摄像头实现，如Kinect等，但该方法存在如下缺陷：首先，该类识别方法依赖于外部的图像采集设备，因此适用范围被限制在相关设备的应用环境中，且要求用户处在能够被图像采集设备所观察到的区域中：其次，由于图像能够传达的信息非常丰富，因此存在着除了测试活动之外其他隐私信息被泄漏的风险；最后，图像处理，尤其是视频流中的图像处理，需要很高的网络带宽和计算能力，因此很难在现有的设备中实现实时的处理。
技术实现思路
本专利技术的目的在于克服上述现有技术的缺陷，提供一种基于可穿戴设备的立体色块障碍测试的方法和系统。根据本专利技术的一方面，提供一种基于可穿戴设备的立体色块障碍测试模型的训练方法，包括：通过可穿戴设备采集用户在立体色块障碍测试中产生的多模态信号；对所述多模态信号进行预处理并划分为多个信号片段；根据所述用户的动作类型标定所述多模态信号片段；利用所述标定后的多模态信号片段训练神经网络。可选的，其中，所述多模态信号包括肌电信号、加速度信号、陀螺仪信号、方位计信号以及欧几里得空间中方位计信号。可选的，其中，所述对所述多模态信号进行预处理包括：滤波、升采样和标准化。可选的，其中，所述神经网络为卷积神经网络、长短时神经网络或卷积-长短时神经网络。可选的，其中，所述利用所述标定后的多模态信号片段训练神经网络包括：将所述多模态信号片段在数据层进行融合，将融合后的多模态信号片段输入所述神经网络进行识别。可选的，其中，所述利用所述标定后的多模态信号片段训练神经网络包括：将所述多模态信号片段输入所述神经网络，在特征层进行融合，由所述神经网络进行识别并输出结果。可选的，其中，所述利用所述标定后的多模态信号片段训练神经网络包括：将所述多模态信号片段输入所述神经网络，在决策层进行融合，并由所述神经网络输出最终识别结。根据本专利技术的另一方面，提供一种基于可穿戴设备的立体色块障碍测试方法，该方法包括：通过可穿戴设备采集用户在立体色块障碍测试中产生的多模态信号；对所述多模态信号进行预处理并划分为多个信号片段；通过所述立体色块障碍测试模型对所述多模态信号片段进行识别；根据所述识别结果获得所述用户立体色块障碍测试结果。可选的，其中，所述根据所述识别结果获得所述用户立体色块障碍测试结果包括：当所述识别结果为移动动作片段时，统计最长连续移动动作片段的数量；判断所述最长连续移动动作片段的数量是否达到设定的阈值，若达到所述阈值，则判定为完成一次立体色块移动；统计完成所述立体色块移动的数量并输出测试结果。根据本专利技术的另一方面，提供一种基于可穿戴设备的立体色块障碍测试系统，该系统包括：立体色块障碍测试装置；可穿戴设备；处理器；以及存储装置，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述任一种立体色块障碍的测试方法。与现有技术相比，本专利技术的优点在于：利用可穿戴设备对用户进行立体色块障碍测试，可以突破传统测试中空间和时间的限制，减少医务人员人力成本并增加该测试的普适度；通过将多模态信号进行融合，可以基于不同模态信号之间的互补信息实现对用户的动作特征更加准确的识别；此外，利用神经网络进行动作识别，能够降低计算复杂度，自动、快速、准确地获得立体色块障碍测试结果。附图说明以下附图仅对本专利技术作示意性的说明和解释，并不用于限定本专利技术的范围，其中：图1示出了立体色块障碍测试示意图；图2示出了根据本专利技术一个实施例的立体色块障碍测试方法示意图；图3示出了根据本专利技术一个实施例的立体色块障碍测试方法；图4示出了根据本专利技术一个实施例的利用可穿戴设备采集多模态信号的示意图；图5示出了根据本专利技术一个实施例的经过升采样后的多模态信号示意图；图6出了根据本专利技术一个实施例的将多模态信号在数据层融合后输入CNN网络的示意图；图7示出了CNN的结构特征示意图；图8示出了根据本专利技术一个实施例的立体色块障碍测试方法；图9示出了根据本专利技术一个实施例的采用最长连续序列算法进行色块统计的方法；图10示出了根据本专利技术一个实施例的最长连续序列算法的原理图；图11示出了根据本专利技术中实施例的9种网络结构模型测试结果的准确率、精准度、召回率、F-measure的平均值及方差；图12示出了根据本专利技术中实施例的9种网络结构模型测试结果的训练耗时及测试耗时；图13示出了采用数据层融合、特征层融合以及决策层融合的测试结果对比图；图14示出了采用CNN、LSTM和CNN-LSTM三种网络单元的测试结果对比图。具体实施方式为了使本专利技术的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。立体色块障碍测试中，受试者通常被要求在特定时间内使用其上肢移动测试装置中不同颜色的立体色块。图1示出了立体色块障碍测试示意图。如图1所示，测试装置内放置有若干不同颜色的立体色块，其中部设置一挡板，将该装置从中间隔开分成两部分。测试开始前，测试装置中一端(例如右半部分)放置有立体色块，另一端(例如左半部分)为空。测试过程中，受试者逐一将立体色块从一端(例如右半部分)移动到另一端(例如左半部分)。测试结束后，通过统计被移动的立体色块的个数来评估受试者上肢灵活性和运动协调能力。在立体色块障碍测试中，可以通过可穿戴设备采集受试者在执行测试中的产生的各项与运动相关的生理参数(即多模态信号)。基于对这些生理参数的分析可以识别受试者的移动动作特征本文档来自技高网...

【技术保护点】
1.一种基于可穿戴设备的立体色块障碍测试模型的训练方法，包括：/n通过可穿戴设备采集用户在立体色块障碍测试中产生的多模态信号；/n对所述多模态信号进行预处理并划分为多个信号片段；/n根据所述用户的动作类型标定所述多模态信号片段；/n利用所述标定后的多模态信号片段训练神经网络。/n

【技术特征摘要】
1.一种基于可穿戴设备的立体色块障碍测试模型的训练方法，包括：
通过可穿戴设备采集用户在立体色块障碍测试中产生的多模态信号；
对所述多模态信号进行预处理并划分为多个信号片段；
根据所述用户的动作类型标定所述多模态信号片段；
利用所述标定后的多模态信号片段训练神经网络。


2.根据权利要求1所述的训练方法，其中，所述多模态信号包括肌电信号、加速度信号、陀螺仪信号、方位计信号以及欧几里得空间中方位计信号。


3.根据权利要求1所述的训练方法，其中，所述对所述多模态信号进行预处理包括：滤波、升采样和标准化。


4.根据权利要求1所述的训练方法，其中，所述神经网络为卷积神经网络、长短时神经网络或卷积-长短时神经网络。


5.根据权利要求4所述的训练方法，其中，所述利用所述标定后的多模态信号片段训练神经网络包括：将所述多模态信号片段在数据层进行融合，将融合后的多模态信号片段输入所述神经网络进行识别。


6.根据权利要求4所述的训练方法，其中，所述利用所述标定后的多模态信号片段训练神经网络包括：将所述多模态信号片段输入所述神经网络，在特征层进行融合，由所述神经网络进行识别并输出结果。


7.根据权利要求4所述的训练方法，其中，...

【专利技术属性】
技术研发人员：陈益强，张迎伟，于汉超，吕泽平，商盼，欧阳奕奕，杨晓东，卢旺，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11