一种虚拟现实脑中风上肢康复训练系统及控制方法技术方案

本发明专利技术属于医疗康复技术领域，公开了一种虚拟现实脑中风上肢康复训练系统及控制方法，系统包括：场景构建模块、动作数据采集模块、参数配置模块、中央控制模块、专家诊断模块、康复提醒模块、按摩模块、VR显示模块、训练数据生成模块。本发明专利技术通过康复提醒模块将医护人员制定的康复计划与已存储的康复计划进行比较，在未发生冲突的情况下存储所述康复计划且设置预设提醒时间，有助于保证康复计划的制定的准确性，进而通过在预设提醒时间对患者进行提醒，可以提高康复计划的执行效率和准确性；同时通过场景构建模块、动作数据采集模块、VR显示模块可以实现虚拟训练，减少训练设备占有空间、丰富训练方式，提高康复训练效果。

A virtual reality rehabilitation training system for upper limbs and its control method

The invention belongs to the field of medical rehabilitation technology, and discloses a virtual reality upper limb rehabilitation training system and control method for cerebral apoplexy. The system includes scene construction module, action data acquisition module, parameter configuration module, central control module, expert diagnosis module, rehabilitation reminder module, massage module, VR display module, and so on. Training data generation module. The invention compares the rehabilitation plan formulated by medical staff with the stored rehabilitation plan by the rehabilitation reminder module, stores the rehabilitation plan and sets the preset reminder time in the absence of conflict, which helps to ensure the accuracy of the rehabilitation plan formulation, and then mentions the patients by preset reminder time. Wake up, it can improve the efficiency and accuracy of the implementation of rehabilitation plan. At the same time, virtual training can be realized through scene building module, action data acquisition module and VR display module, which can reduce the space occupied by training equipment, enrich training methods and improve the effect of rehabilitation training.

【技术实现步骤摘要】
一种虚拟现实脑中风上肢康复训练系统及控制方法
本专利技术属于医疗康复
，尤其涉及一种虚拟现实脑中风上肢康复训练系统及控制方法。
技术介绍
目前，业内常用的现有技术是这样的：脑中风是一组以脑部缺血及出血性损伤症状为主要临床表现的疾病，又称脑卒中或脑血管意外，具有极高的病死率和致残率，主要分为出血性脑中风(脑出血或蛛网膜下腔出血)和缺血性脑中风(脑梗塞、脑血栓形成)两大类，以脑梗塞最为常见。脑中风发病急，病死率高，是世界上最重要的致死性疾病之一。中风的死亡率也有随年龄增长而上升的趋势，由于一直缺乏有效的治疗措施，目前认为预防是最好的措施，因此，加强对全民普及脑中风的危险因素及先兆症状的教育，才会真正获得有效的防治效果。然而，现有脑中风上肢康复训练由医护人员进行人工通知和提醒，效率较低，且容易发生康复计划制定冲突、错误通知、遗漏通知等问题，发生执行错误，导致康复医疗资源的浪费，甚至贻误病情；同时现有康复训练设备成本高、占有空间大、训练方式单一。常用的三维重建方法有三类：(1)立体视觉方法。该方法模拟人类视觉系统对客观三维物体的感知方式，利用两个以上相机对同一个景物在不同位置进行成像，再根据两帧图像之间的视差图，转换为深度图，获得了物体的深度信息。此方法生成的几何模型文件通常比较小，很容易被用到虚拟现实中。但该方法需要克服物体特征稀疏的问题，当纹理平坦时，计算得到的视差图存在大片的空白区域，点云的稠密程度很低。(2)运动结构方法。对物体进行绕拍，刚性物体上任意位置的点在两帧图像之间发生的运动是相同的，通过对两帧图像之间提取若干对特征点并进行匹配，能够计算得到物体发生运动的变换矩阵，根据变换矩阵能确定两个相机之间的位置关系，通过小孔成像原理，能恢复特征点在世界坐标系中的坐标。此方法发展比较成熟，能在相机内参标定的情况下计算出相机的移动，对稀疏点云进行处理能获取较稠密点云，并恢复出较为精准的三维模型。但是其要求相邻两帧间的匹配特征点数量要多，因此在特征平坦的区域有效点的数量较少。(3)基于深度图像的方法。通过每帧图像的RGB图与深度图就能生成在当前相机坐标系下物体的点云，相邻两帧RGBD图生成的两组点云进行匹配，计算出两帧相机的变换矩阵，就可以两组点云融合到世界坐标系。此方法计算得到的点云较为精确，且点云的稠密程度较高。但是其需要深度相机的协助，且对深度图的精度很敏感，在大范围重建场景中，深度相机的精度总是有限的，而深度相机的精度将直接关联重建点云的精度。综上所述，现有技术存在的问题是：现有脑中风上肢康复训练由医护人员进行人工通知和提醒，效率较低，且容易发生康复计划制定冲突、错误通知、遗漏通知等问题，发生执行错误，导致康复医疗资源的浪费，甚至贻误病情；同时现有康复训练设备成本高、占有空间大、训练方式单一。现有技术中，立体或虚拟视觉法需要的计算量较小，但是在图像纹理平坦区域得到的视差图存在空白区域，因此计算得到的点云稠密程度很低；运动结构法具有较高的普适性，其中包含稀疏点云到稠密点云的派生过程，但是获得的稠密点云的稠密程度仍然取决于图像的纹理复杂程度，对于纹理平坦的图像，获得的点云稠密程度也比较低；基于深度图像的重建方法精度较高，且对图像的纹理复杂程度没有要求，但是该方法对深度相机精度的敏感程度不高，目前不适用与虚拟物体三维重建。现有配置康复训练参数信号中，分类准确率低，不能获得准确的相关参数，不能为训练方案提供依据。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种虚拟现实脑中风上肢康复训练系统。本专利技术是这样实现的，一种虚拟现实脑中风上肢康复训练系统的控制方法，所述虚拟现实脑中风上肢康复训练系统的控制方法包括：通过摄影设备获取一组绕拍图像序列，对每帧绕拍图像提取物体轮廓，并将轮廓区域内的像素值设置为255，将轮廓外的像素值设为0，得到一帧二值图像，为有效区域图；对绕拍图像序列进行三维重建步骤，获得一个稠密度很低的点云，为初始点云，同时还获得每一帧相机相对于世界坐标系的旋转矩阵R与平移向量t,旋转矩阵与平移向量组合起来形成变换矩阵M；遍历初始点云中的每个点，获得初始点云中所有点在x、y、z三个轴上取值的最大值与最小值，并计算每个轴上最大值与最小值之间的距离差，分别记做x_dis、y_dis、z_dis，分别将此三个距离差除以100，得到的三个量，为初始点云的派生尺度，记做x_scalar、y_scalar、z_scalar；将初始点云中的一个点作为源点，分别沿x、y、z三个方向的正负方向各扩展对应计算的派生尺度大小，得到一个以源点为中心的长方体，该长方体的长宽高分别为2*x_scalar、2*y_scalar、2*z_scalar，该源点中心往长方体的周围共扩展了26个方向，在每个方向上派生出一个新点，取该新点的法向量与源点的法向量相同，且每个派生点均记录其源点；对初始点云中的每一个点都进行一次派生操作，将得到一个派生的点云，该点云中点的数量是初始点云数量的26倍；对绕拍图像序列中的第i帧图像，取出计算得到的变换矩阵Mi，将得到的派生点云根据变换矩阵Mi变换到对应的相机坐标系下，并根据投影原理将派生点云中的每个点反投影到获得的第i帧的有效区域图上；对投影到第i帧有效区域图中的无效区域内的点，将从派生点云中删除，投影到第i帧有效区域图中的有效区域中的点则保留；对绕拍图像序列中的每一帧均执行绕拍图像序列中的第i帧图像步骤和对投影到第i帧有效区域图中的无效区域内的点，从派生点云中删除的操作，通过对派生点云环绕投影并删除，三维重建获得了含有内点的派生点云；遍历所获得的派生点云中的每个派生点，判断每个派生点是内点还是外点，删除掉是内点的派生点云，保留是外点的派生点云；最终保留下的点云为派生一次的有效点云；统计所得有效点云的数量，若稠密程度达到需求，则此有效点云为最终点云；若稠密程度未达到需求，则将该有效点云作为初始点云，直到获得的有效点云满足稠密度要求，构建出虚拟康复训练场景；采集患者手部坐标的动态数据，对所述动态数据和手部动作对象的位置信息进行处理，通过处理结果识别手部的动作，在虚拟场景中映射出虚拟的手，使手部的动作与场景进行交互，进行康复训练的指定动作；通过参数配置模块配置康复训练参数；对获取到的原始康复训练参数信号进行预处理，以减少伪迹干扰；创建滤波器，将预处理后的康复训练参数信号滤波到所需的频段；利用相位同步分析方法，计算各频段的康复训练参数信号在各个时间点每两个通道之间的相位关系，获得动态功能连接矩阵；逐个计算两个通道之间相位关系值的时域熵，得到每条边的信息熵，以度量康复训练参数功能网络各边时间域的复杂度；利用各频段的动态功能连接熵分别作为康复训练参数功能网络的分类特征，训练自适应提高分类器，得到多个自适应提高分类器以及对应的分类正确率；利用训练好的多个自适应提高分类器以投票的方式对样本进行组合分类；滤波器的创建中，康复训练参数信号使用小波包分解为五个频段，δ(1－3Hz)、θ(4－7Hz)、α(8－13Hz)、β(14－30Hz)γ(31-50Hz)；采用相位锁定值PLV来计算各频段的康复训练参数信号在各个时间点上每两个通道之间的相位关系，计算公式：PLV＝|<exp(j{Φi(t本文档来自技高网...

【技术保护点】
1.一种虚拟现实脑中风上肢康复训练系统的控制方法，其特征在于，所述虚拟现实脑中风上肢康复训练系统的控制方法包括：通过摄影设备获取一组绕拍图像序列，对每帧绕拍图像提取物体轮廓，并将轮廓区域内的像素值设置为255，将轮廓外的像素值设为0，得到一帧二值图像，为有效区域图；对绕拍图像序列进行三维重建步骤，获得一个稠密度很低的点云，为初始点云，同时还获得每一帧相机相对于世界坐标系的旋转矩阵R与平移向量t,旋转矩阵与平移向量组合起来形成变换矩阵M；遍历初始点云中的每个点，获得初始点云中所有点在x、y、z三个轴上取值的最大值与最小值，并计算每个轴上最大值与最小值之间的距离差，分别记做x_dis、y_dis、z_dis，分别将此三个距离差除以100，得到的三个量，为初始点云的派生尺度，记做x_scala、ry_sca、larz_s；cal将ar初始点云中的一个点作为源点，分别沿x、y、z三个方向的正负方向各扩展对应计算的派生尺度大小，得到一个以源点为中心的长方体，该长方体的长宽高分别为2*x_scalar、2*y_scalar、2*z_scalar，该源点中心往长方体的周围共扩展了26个方向，在每个方向上派生出一个新点，取该新点的法向量与源点的法向量相同，且每个派生点均记录其源点；对初始点云中的每一个点都进行一次派生操作，将得到一个派生的点云，该点云中点的数量是初始点云数量的26倍；对绕拍图像序列中的第i帧图像，取出计算得到的变换矩阵Mi，将得到的派生点云根据变换矩阵Mi变换到对应的相机坐标系下，并根据投影原理将派生点云中的每个点反投影到获得的第i帧的有效区域图上；对投影到第i帧有效区域图中的无效区域内的点，将从派生点云中删除，投影到第i帧有效区域图中的有效区域中的点则保留；对绕拍图像序列中的每一帧均执行绕拍图像序列中的第i帧图像步骤和对投影到第i帧有效区域图中的无效区域内的点，从派生点云中删除的操作，通过对派生点云环绕投影并删除，三维重建获得了含有内点的派生点云；遍历所获得的派生点云中的每个派生点，判断每个派生点是内点还是外点，删除掉是内点的派生点云，保留是外点的派生点云；最终保留下的点云为派生一次的有效点云；统计所得有效点云的数量，若稠密程度达到需求，则此有效点云为最终点云；若稠密程度未达到需求，则将该有效点云作为初始点云，直到获得的有效点云满足稠密度要求，构建出虚拟康复训练场景；采集患者手部坐标的动态数据，对所述动态数据和手部动作对象的位置信息进行处理，通过处理结果识别手部的动作，在虚拟场景中映射出虚拟的手，使手部的动作与场景进行交互，进行康复训练的指定动作；通过参数配置模块配置康复训练参数；对获取到的原始康复训练参数信号进行预处理，以减少伪迹干扰；创建滤波器，将预处理后的康复训练参数信号滤波到所需的频段；利用相位同步分析方法，计算各频段的康复训练参数信号在各个时间点每两个通道之间的相位关系，获得动态功能连接矩阵；逐个计算两个通道之间相位关系值的时域熵，得到每条边的信息熵，以度量康复训练参数功能网络各边时间域的复杂度；利用各频段的动态功能连接熵分别作为康复训练参数功能网络的分类特征，训练自适应提高分类器，得到多个自适应提高分类器以及对应的分类正确率；利用训练好的多个自适应提高分类器以投票的方式对样本进行组合分类；滤波器的创建中，康复训练参数信号使用小波包分解为五个频段，δ(1－3Hz)、θ(4－7Hz)、α(8－13Hz)、β(14－30Hz)γ(31‑50Hz)；采用相位锁定值PLV来计算各频段的康复训练参数信号在各个时间点上每两个通道之间的相位关系，计算公式：PLV＝|<exp(j{Φi(f)‑Φj(t)})>|；其中，Φi(t)和Φj(t)分别为电极i和j的瞬时相位；信号的相位值采用希尔伯特变换来计算，具体公式如下：...

【技术特征摘要】
1.一种虚拟现实脑中风上肢康复训练系统的控制方法，其特征在于，所述虚拟现实脑中风上肢康复训练系统的控制方法包括：通过摄影设备获取一组绕拍图像序列，对每帧绕拍图像提取物体轮廓，并将轮廓区域内的像素值设置为255，将轮廓外的像素值设为0，得到一帧二值图像，为有效区域图；对绕拍图像序列进行三维重建步骤，获得一个稠密度很低的点云，为初始点云，同时还获得每一帧相机相对于世界坐标系的旋转矩阵R与平移向量t,旋转矩阵与平移向量组合起来形成变换矩阵M；遍历初始点云中的每个点，获得初始点云中所有点在x、y、z三个轴上取值的最大值与最小值，并计算每个轴上最大值与最小值之间的距离差，分别记做x_dis、y_dis、z_dis，分别将此三个距离差除以100，得到的三个量，为初始点云的派生尺度，记做x_scala、ry_sca、larz_s；cal将ar初始点云中的一个点作为源点，分别沿x、y、z三个方向的正负方向各扩展对应计算的派生尺度大小，得到一个以源点为中心的长方体，该长方体的长宽高分别为2*x_scalar、2*y_scalar、2*z_scalar，该源点中心往长方体的周围共扩展了26个方向，在每个方向上派生出一个新点，取该新点的法向量与源点的法向量相同，且每个派生点均记录其源点；对初始点云中的每一个点都进行一次派生操作，将得到一个派生的点云，该点云中点的数量是初始点云数量的26倍；对绕拍图像序列中的第i帧图像，取出计算得到的变换矩阵Mi，将得到的派生点云根据变换矩阵Mi变换到对应的相机坐标系下，并根据投影原理将派生点云中的每个点反投影到获得的第i帧的有效区域图上；对投影到第i帧有效区域图中的无效区域内的点，将从派生点云中删除，投影到第i帧有效区域图中的有效区域中的点则保留；对绕拍图像序列中的每一帧均执行绕拍图像序列中的第i帧图像步骤和对投影到第i帧有效区域图中的无效区域内的点，从派生点云中删除的操作，通过对派生点云环绕投影并删除，三维重建获得了含有内点的派生点云；遍历所获得的派生点云中的每个派生点，判断每个派生点是内点还是外点，删除掉是内点的派生点云，保留是外点的派生点云；最终保留下的点云为派生一次的有效点云；统计所得有效点云的数量，若稠密程度达到需求，则此有效点云为最终点云；若稠密程度未达到需求，则将该有效点云作为初始点云，直到获得的有效点云满足稠密度要求，构建出虚拟康复训练场景；采集患者手部坐标的动态数据，对所述动态数据和手部动作对象的位置信息进行处理，通过处理结果识别手部的动作，在虚拟场景中映射出虚拟的手，使手部的动作与场景进行交互，进行康复训练的指定动作；通过参数配置模块配置康复训练参数；对获取到的原始康复训练参数信号进行预处理，以减少伪迹干扰；创建滤波器，将预处理后的康复训练参数信号滤波到所需的频段；利用相位同步分析方法，计算各频段的康复训练参数信号在各个时间点每两个通道之间的相位关系，获得动态功能连接矩阵；逐个计算两个通道之间相位关系值的时域熵，得到每条边的信息熵，以度量康复训练参数功能网络各边时间域的复杂度；利用各频段的动态功能连接熵分别作为康复训练参数功能网络的分类特征，训练自适应提高分类器，得到多个自适应提高分类器以及对应的分类正确率；利用训练好的多个自适应提高分类器以投票的方式对样本进行组合分类；滤波器的创建中，康复训练参数信号使用小波包分解为五个频段，δ(1－3Hz)、θ(4－7Hz)、α(8－13Hz)、β(14－30Hz)γ(31-50Hz)；采用相位锁定值PLV来计算各频段的康复训练参数信号在各个时间点上每两个通道之间的相位关系，计算公式：PLV＝|&lt;exp(j{Φi(f)-Φj(t)})&gt;|；其中，Φi(t)和Φj(t)分别为电极i和j的瞬时相位；信号的相位值采用希尔伯特变换来计算，具体公式如下：xi(τ)是电极i的连续时间信号，τ是一个时间变量，t表示时间点，PV为柯西主值；瞬时相位按如下计算：同样地，计算瞬时相位Φj(t)；设选定的康复训练参数通道数为M，康复训练参数时间点数为T，利用两两通道构建不同的通道对，计算所有通道对的PLV值，此时得到一个M×M×T的三维矩阵K，其中M×M是一个时间点的上三角矩阵：K的每个元素Kijt为在t时间点上第i个电极和第j个电极之间的PLV值，该矩阵为动态功能连接矩阵，它不仅包含不同康复训练参数通道两两之间的相位关系，还包含康复训练参数通道的空间信息和时间信息；再进行在线专家进行实时诊断；提醒患者进行康复计划；对训练肢体进行按摩；显示手部在虚拟现实康复训练场景中的动作；将虚拟现上肢康复训练数据打包，生成训练数据报告记录。2.如权利要求1所述虚拟现实脑中风上肢康复训练系统的控制方法，其特征在于，所述的派生尺度是初始点云中所有点坐标分别在x、y、z三个轴上最大值与最小值之间距离差的百分之一，该参数是经过多次测试后的有效参数，不需要根据具体应用调整；以初始点云中的其中一个点作为源点向长方体的26个方向派生获得新点，其中新点的计算公式为：其中，x_org、y_org、z_org分别为初始点云中某一个点在x、y、z轴上的坐标，x_scalar、y_scalar、z_scalar分别为计算得到的x、y、z三个方向的派生尺度，上式计算得到的3*3*3个新点坐标，除了源点坐标增量为(0，0，0)的情况，将...

【专利技术属性】
技术研发人员：成宗翰，
申请(专利权)人：广西虚拟现实科技有限公司，
类型：发明
国别省市：广西,45