一种基于眼动信号的智慧病房控制方法和系统技术方案

本发明专利技术涉及一种基于眼动信号的智慧病房控制方法和系统，属于人机交互、信号处理、智能家居相交叉的技术领域。系统包括眼动追踪模块、菜单显示模块、数据分析模块、命令输出模块。面向病患，由菜单显示模块呈现控制菜单；由眼动追踪模块追踪被测者的眼动信号；数据分析模块分析眼动信号与菜单选项的映射关系；命令输出模块将选中的菜单选项以无线信号的方式传输至病房功能模块下各个子模块；病房功能模块包含电动病床、病房呼叫、电视、空调、电动窗帘等单元。利用本申请提出的控制方法和系统可以让病患通过视线实现对各项起居相关需求表达和设施控制。

【技术实现步骤摘要】
一种基于眼动信号的智慧病房控制方法和系统
本专利技术公开了一种基于眼动信号的智慧病房控制方法和系统，尤其涉及利用病患视线注视显示器显示菜单对病房各项起居相关的需求表达和设施控制的方法，属于人机交互、信号处理、智能家居相交叉的

技术介绍
脑卒中患者中较大比例的病患存在语言和运动功能障碍。老年人口中也有相当比例的人群患有上述障碍。此外，部分患者由于气管、鼻饲管插管或肺部、喉部、口腔炎症可能影响正常语言发音。上述人群均存在无法通过正常说话、书写、打字表达意思的障碍，亟需一种辅助设备帮助患者实施意思表达。基于生理信号的人机接口是一种通过获取人体生理信号，经过信号处理、特征提取、特征分类等处理实现人体对外部进行命令输出的技术手段。目前，通过获取脑电、肌电、脑部血氧代谢信号实施命令输出的研究和设备比较普遍。但上述方法和技术必须佩戴传感器，病患长期佩戴传感器易造成皮肤不适。同时，上述方法和技术易受到肌电干扰或使用环境中存在的电磁干扰，造成信号质量低下，存在分类错误的可能。眼动追踪技术（eyetracking）是一种通过红外摄像头追踪眼球运动轨迹的技术。利用眼动追踪实施人机接口属于新兴方法和技术。本申请旨在利用眼动追踪技术帮助病患实现针对病房各项起居相关的需求表达和设施的控。
技术实现思路
本专利技术的专利技术目的是针对上述
技术介绍
的不足，提供了一种基于眼动信号的智慧病房控制方法和系统，面对语言或运动障碍的病患，向其呈现控制菜单并追踪其眼球运动，利用信号分析方法获取病患关注的菜单选项输出相关装置或设备的控制信号，实现了病房内设备的智能控制，解决了病房设备不能满足功能障碍病人各项起居需求的技术问题。本专利技术为实现上述专利技术目的采用如下技术方案：基于眼动信号的智慧病房控制方案包括以下三个部分。一）基于多层菜单的控制系统构建：1）将病患对各项起居相关的需求表达和设施控制以菜单形式显示在显示器上，以树状结构方式构建多级菜单对各项起居相关的需求表达以及设施控制命令实施精细划分；2）主菜单由呼叫、娱乐、房间管理、床位调整、饮食、解手等选项构成；呼叫选项对应的一级子菜单的各项选项为：呼叫医生、呼叫护士、呼叫护工、呼叫家属；娱乐选项对应的一级子菜单的各项选项为：电视、收音机；电视和收音机下各自设置二级子菜单，二级子菜单各项选项均为：关闭设备、频道增减、音量增减；房间管理选项对应的一级子菜单的各项选项为：空调、照明、窗帘；空调、照明、窗帘下均设置二级子菜单，二级子菜单内容可根据空调、照明、窗帘控制需要具体设置；床位调整选项对应的一级子菜单的各项选项为：头调高、头调低、腿调高、腿调低、左调高、左调低、右调高、右调低、复位；饮食选项对应的一级子菜单的各项选项为：食品、饮料；食品和饮料下各自设置二级子菜单，二级子菜单细分内容可根据实际使用需求具体设置；解手选项对应的一级子菜单的各项选项为：大解、小解；3）各级子菜单均具有返回主菜单选项，各级菜单选项的个数和显示内容均可根据需求进行编辑。二）注视点空间和时间特性的分析：1）完成基于红外摄像头的眼球追踪参数设置，并分别获取瞳孔和角膜反射斑，获得注视点对应的眼动坐标；2）进行注视点校准，在屏幕的上下左右四边的中点以及屏幕的四角分别显示标定点，采集观察者注视标定点时的眼动坐标，建立屏幕与眼动坐标范围的映射关系；计算观察者注视点与标定点之间的偏差，当平均偏差小于视角1度时，完成校准工作，否则，继续校准过程直至满足误差要求；3）利用眼动仪每隔2ms采样一次患者注视点在显示器上的坐标值，以200ms为时窗计算该时窗内屏幕上各个像素的注视时间，根据菜单显示模块当前显示的菜单数量和位置将屏幕划分为若干个子区域，统计各个子区域内所有像素的注视时长总和，将最大值对应的子区域作为该时窗内的注视区；4）以当前菜单开始显示时刻为0时刻，从200ms开始，以100ms为滑动步长将200ms的时窗沿时间轴滑动，分析各个滑动时窗所对应的注视区位置。当连续5个滑动时窗对应的注视区均相同时，将该注视区对应的某项菜单选项作为病患的选择进行输出。三）病房功能模块的各种单元控制：1）病房功能模块由电动病床、病房呼叫、电视、收音机、照明、空调、电动窗帘单元构成；电动病床单元可以实现手电一体控制，可以实现病床的头部升降、腿部升降、左右侧翻功能；病房呼叫单元可以实现呼叫医生、呼叫护士、呼叫护工、呼叫家属功能；电视单元可以实现对电视各项功能的遥控；收音机单元可以实现对收音机各项功能的遥控；照明单元可以实现对各个灯具的遥控；空调可以实现对空调各项功能的遥控；电动窗帘单元可以实现对窗帘升降的遥控。2）病房功能模块的各项操控均可由病患通过视线实施控制，也可通过手动操作实施控制；3）病房功能模块可以实现控制单元的增加或删减。本专利技术采用上述技术方案，具有以下有益效果：（1）通过视线追踪实现对各项起居相关需求的表达和设施控制，通过眼动追踪技术实现病房设备的人机接口，在现有病房设备的基础上加装眼动仪并赋以软件设计即可实现设备自动响应病患眼动信号的智慧病房。（2）为了避免病患在注视菜单的过程中由于视线漂移造成多个子区域热度值总和较高进而影响控制命令的正确下达，本申请在获取注视点原始热图后统计滑动时窗内的注视区，仅在连续若干滑动时窗内的注视区均相同时确定该注视区为病患注视区，保证了控制命令的准确下达。（3）各项菜单选项可根据需求实施在线编辑，方便对应各种实际使用环境和应用需求，有利于用户根据实际需求扩充病房功能模块。附图说明图1为系统构成图。图2为系统信号流向图。图3为病房功能模块图。图4为由菜单显示模块显示的智慧病房控制主菜单。图5为呼叫选项对应的一级子菜单。图6为娱乐选项对应的一级子菜单。图7为房间管理选项对应的一级子菜单。图8为床位调整选项对应的一级子菜单。图9为饮食选项对应的一级子菜单。图10为解手选项对应的一级子菜单。图11为电视选项对应的二级子菜单。图12为收音机选项对应的二级子菜单。图13为将屏幕划分为若干个子区域的示意图。图14为将滑动窗和滑动步长的示意图。图15为选取某个时窗内注视时长总和最大子区域为注视区的示例。图16为判别持续注视区为病患意愿输出的示例。具体实施方式下面结合附图对专利技术的技术方案进行详细说明。如图1所示，本专利技术公开的基于眼动信号的智慧病房控制系统由眼动追踪模块、菜单显示模块、数据分析模块、命令输出模块。如图2所示，菜单显示模块向数据分析模块发送当前显示菜单各个选项内容以及选项按钮在屏幕中所处的坐标位置。眼动追踪模块追踪病患眼球运动轨迹坐标以获取注视点原始热图。数据分析模块对眼动追踪模块输出的注视点原始热图首先进行高斯空间平滑处理；再利用阈值法获取超过阈值的热图分布；根据菜单显示模块发送的选项按钮在屏幕中所处的坐标位置将屏本文档来自技高网...

【技术保护点】
1.一种基于眼动信号的智慧病房控制方法，其特征在于，采集病患眼球运动轨迹坐标以获取注视点原始热图，根据选项按钮在屏幕中所处的坐标位置将菜单显示区域划分为菜单选项子区域，统计各菜单选项子区域内所有像素热度值以确定病患注视区，输出病患注视区内菜单选项对应的控制命令。/n

【技术特征摘要】
1.一种基于眼动信号的智慧病房控制方法，其特征在于，采集病患眼球运动轨迹坐标以获取注视点原始热图，根据选项按钮在屏幕中所处的坐标位置将菜单显示区域划分为菜单选项子区域，统计各菜单选项子区域内所有像素热度值以确定病患注视区，输出病患注视区内菜单选项对应的控制命令。


2.根据权利要求1所述一种基于眼动信号的智慧病房控制方法，其特征在于，在获取注视点原始热图后，统计滑动时窗内各菜单选项子区域内所有像素热度值以确定病患注视区，在连续若干滑动时窗内的病患注视区相同时，确定该注视区为病患注视区。


3.根据权利要求1所述一种基于眼动信号的智慧病房控制方法，其特征在于，统计各菜单选项子区域内所有像素热度值以确定病患注视区的具体方法为：对获取的注视点原始热图先进行高斯空间平滑处理，再利用阈值法获取超过阈值的热图分布，统计各个菜单选项子区域内所有像素的热度值总和，以所有像素热度值总和最大的菜单选项子区域为病患注视区。


4.根据权利要求1所述一种基于眼动信号的智慧病房控制方法，其特征在于，所述菜单为树状结构的多级菜单，包括对应于呼叫、娱乐、房间管理、床位调整、饮食、解手的主菜单，对应于主菜单各选项的一级子菜单，对应于一级子菜单的二级子菜单；呼叫选项对应的一级子菜单的各项选项为：呼叫医生、呼叫护士、呼叫护工、呼叫家属；娱乐选项对应的一级子菜单的各项选项为：电视、收音机；电视和收音机选项对应的二级子菜单的各项选项为：关闭设备、频道增减、音量增减；房间管理选项对应的一级子菜单的各项选项为：空调、照明、窗帘；空调、照明、窗帘选项对应的二级子菜单的各项选项为内容打开、关闭；床位调整选项对应的一级子菜单的各项选项为：头调高、头调低、腿调高、腿调低、左调高...

【专利技术属性】
技术研发人员：葛盛，江一川，王鹏，何静，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32