认知综合评估与认知障碍康复训练方法技术

本发明专利技术提供一种认知综合评估与认知障碍康复训练方法

【技术实现步骤摘要】
认知综合评估与认知障碍康复训练方法、装置及系统


[0001]本专利技术涉及认知评估训练
，具体而言，涉及一种认知综合评估与认知障碍康复训练方法
、
装置及系统
。

技术介绍

[0002]在传统康复医院的认知综合评估和认知障碍康复训练中，通常是认知康复训练师与患者一对一进行评测和治疗，其需要的时间
、
人力成本都比较高，治疗效果与治疗师的能力紧密相关，治疗过程没有数据采集和跟踪
。
[0003]现有的一些认知康复训练软件系统，以纯软件方式设计互动训练项目，患者通过触屏点击操作软件
。
这些训练项目多设计为游戏性强的，操作简单的互动小程序，比如选择相关物品，颜色匹配，简单的推理解决问题等等，加上声音
、
特效吸引患者注意力，增加训练粘度
。
[0004]然而上述采用康复训练软件的训练方式交互单一，缺少人体捕捉辅助设备，比如眼动追踪设备和手势识别设备等
。
单纯眼动辅助训练方案或者纯手势识别都只能训练患者相对单一的认知能力，不足以满足认知障碍患者和康复训练的要求
。

技术实现思路

[0005]为解决上述问题，本专利技术实施例提供一种认知综合评估与认知障碍康复训练方法，所述方法包括：根据预先制作的训练场景生成对应的渲染结果，以及将所述渲染结果显示在显示屏幕；所述渲染结果所在的坐标系为基准坐标系；采集包含标记物的视频流，识别所述视频流中所述标记物的类型及位置，以及将所述位置转换为所述基准坐标系下的第一坐标；根据所述标记物的类型生成对应的三维模型，以及根据所述第一坐标将所述三维模型显示在所述显示屏幕；捕捉用户眼睛的眼动信号，根据所述眼动信号确定在所述显示屏幕上的注视点坐标，以及将所述注视点坐标转换为所述基准坐标系下的第二坐标；捕捉用户手部的位置信息，以及将所述位置信息转换为所述基准坐标系下的第三坐标；根据所述第一坐标
、
所述第二坐标
、
所述第三坐标确定用户的视觉反应时长以及动作反应时长
。
[0006]可选地，所述根据所述第一坐标
、
所述第二坐标
、
所述第三坐标确定用户的视觉反应时长以及动作反应时长，包括：根据所述第一坐标与所述第二坐标进行相交检测得到用户视线与所述三维模型相交的第一时刻，以及根据所述第一时刻与所述三维模型在所述显示屏幕显示的第二时刻确定用户的视觉反应时长；根据所述第一坐标与所述第三坐标进行相交检测得到用户手部与所述三维模型相交的第三时刻，以及根据所述第三时刻与所述第二时刻确定用户的动作反应时长
。
[0007]可选地，所述根据预先制作的训练场景生成对应的渲染结果，以及将所述渲染结果显示在显示屏幕，包括：将预先制作的训练场景放置于基准坐标系的预设位置；设置并调节虚拟相机的位置和朝向，使所述训练场景出现在所述预设位置；将渲染平面远离所述虚拟相机的一侧的所述训练场景投影至所述渲染平面，以及在显示屏幕显示所述渲染平面
。
[0008]可选地，所述捕捉用户眼睛的眼动信号，根据所述眼动信号确定在所述显示屏幕上的注视点坐标，以及将所述注视点坐标转换为所述基准坐标系下的第二坐标，包括：识别用户眼球在眼部区域内的相对位置，以及将所述相对位置映射至所述显示屏幕得到在所述显示屏幕上的注视点坐标；根据用户眼球位置与所述注视点坐标确定在所述基准坐标系下的射线；根据所述射线与所述基准坐标系下的所述三维模型的位置，确定所述基准坐标系下的第二坐标
。
[0009]可选地，所述捕捉用户手部的位置信息，以及将所述位置信息转换为所述基准坐标系下的第三坐标，包括：识别用户手部的关键节点位置；所述关键节点位置包括手掌心位置以及手指至少两个指节位置；将所述关键节点位置转换为所述基准坐标系下的第三坐标
。
[0010]可选地，所述方法还包括：将测试用标记物放置于识别区域的水平面中点；识别所述测试用标记物的位置，以及在所述基准坐标系中选择目标位置作为标记物锚点；所述将所述位置转换为所述基准坐标系下的第一坐标，包括：根据所述位置相对于所述水平面中点的位置及朝向，确定所述标记物的三维模型在所述基准坐标系下相对于所述标记物锚点的位置及朝向，得到所述基准坐标系下的第一坐标
。
[0011]可选地，所述方法还包括：持续识别所述标记物的类型及位置；若所述位置变化则同步更新所述基准坐标系下的所述第一坐标，若所述类型变化则同步更新所述基准坐标系下的三维模型
。
[0012]可选地，所述方法还包括：生成所述用户手部对应的虚拟模型；根据所述第三坐标将所述虚拟模型显示在所述显示屏幕
。
[0013]本专利技术实施例提供一种认知综合评估与认知障碍康复训练装置，其特征在于，所述装置包括：场景渲染模块，用于根据预先制作的训练场景生成对应的渲染结果，以及将所述渲染结果显示在显示屏幕；所述渲染结果所在的坐标系为基准坐标系；增强现实模块，用于采集包含标记物的视频流，识别所述视频流中所述标记物的类型及位置，以及将所述位置转换为所述基准坐标系下的第一坐标；叠加显示模块，用于根据所述标记物的类型生成对应的三维模型，以及根据所述第一坐标将所述三维模型显示在所述显示屏幕；眼动捕捉模块，用于捕捉用户眼睛的眼动信号，根据所述眼动信号确定在所述显示屏幕上的注视点坐标，以及将所述注视点坐标转换为所述基准坐标系下的第二坐标；手动捕捉模块，用于捕捉用户手部的位置信息，以及将所述位置信息转换为所述基准坐标系下的第三坐标；评估训练模块，用于根据所述第一坐标
、
所述第二坐标
、
所述第三坐标确定用户的视觉反应时长以及动作反应时长
。
[0014]本专利技术实施例提供一种认知综合评估与认知障碍康复训练系统，包括主机
、
手势识别设备
、
眼动追踪设备
、
摄像头及显示器，用于执行上述认知综合评估与认知障碍康复训练方法
。
[0015]本专利技术实施例提供的认知综合评估与认知障碍康复训练方法
、
装置及系统，集成了眼动
、
手动和增强现实功能，可以从多个维度评估用户的各项认知能力以及手眼协调能力，将多种评估方法有机地整合在一起，并在此基础上通过设计科学的训练场景，充分调动用户的多项感官协作，具有更科学的评估效果和更高的训练效率
。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图
。
[0017]图1为本专利技术实施例中认知评估与康复训练系统的硬件系统结构图；
[0018]图2为本专利技术实施例中认知评估与康复训练系统的软件系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种认知综合评估与认知障碍康复训练方法，其特征在于，所述方法包括：根据预先制作的训练场景生成对应的渲染结果，以及将所述渲染结果显示在显示屏幕；所述渲染结果所在的坐标系为基准坐标系；采集包含标记物的视频流，识别所述视频流中所述标记物的类型及位置，以及将所述位置转换为所述基准坐标系下的第一坐标；根据所述标记物的类型生成对应的三维模型，以及根据所述第一坐标将所述三维模型显示在所述显示屏幕；捕捉用户眼睛的眼动信号，根据所述眼动信号确定在所述显示屏幕上的注视点坐标，以及将所述注视点坐标转换为所述基准坐标系下的第二坐标；捕捉用户手部的位置信息，以及将所述位置信息转换为所述基准坐标系下的第三坐标；根据所述第一坐标
、
所述第二坐标
、
所述第三坐标确定用户的视觉反应时长以及动作反应时长
。2.
根据权利要求1所述方法，其特征在于，所述根据所述第一坐标
、
所述第二坐标
、
所述第三坐标确定用户的视觉反应时长以及动作反应时长，包括：根据所述第一坐标与所述第二坐标进行相交检测得到用户视线与所述三维模型相交的第一时刻，以及根据所述第一时刻与所述三维模型在所述显示屏幕显示的第二时刻确定用户的视觉反应时长；根据所述第一坐标与所述第三坐标进行相交检测得到用户手部与所述三维模型相交的第三时刻，以及根据所述第三时刻与所述第二时刻确定用户的动作反应时长
。3.
根据权利要求1所述方法，其特征在于，所述根据预先制作的训练场景生成对应的渲染结果，以及将所述渲染结果显示在显示屏幕，包括：将预先制作的训练场景放置于基准坐标系的预设位置；设置并调节虚拟相机的位置和朝向，使所述训练场景出现在所述预设位置；将渲染平面远离所述虚拟相机的一侧的所述训练场景投影至所述渲染平面，以及在显示屏幕显示所述渲染平面
。4.
根据权利要求1所述方法，其特征在于，所述捕捉用户眼睛的眼动信号，根据所述眼动信号确定在所述显示屏幕上的注视点坐标，以及将所述注视点坐标转换为所述基准坐标系下的第二坐标，包括：识别用户眼球在眼部区域内的相对位置，以及将所述相对位置映射至所述显示屏幕得到在所述显示屏幕上的注视点坐标；根据用户眼球位置与所述注视点坐标确定在所述基准坐标系下的射线；根据所述射线与所述基准坐标系下的所述三维模型的位置，确定所述基准坐标系下的第二坐标
。5.
根据权利要求1所述方法，其特征在于，所述捕捉用户手部的位置信息，以...

【专利技术属性】
技术研发人员：吴剑煌，王浩宇，孙维，蒋晟，
申请(专利权)人：深圳华鹊景医疗科技有限公司，
类型：发明
国别省市：