具有情绪识别功能的病床终端制造技术

本发明专利技术公开了一种具有情绪识别功能的病床终端，包含：护理呼叫模块、输液监护模块和情绪识别模块；情绪识别模块包含：图像采集单元，用于采集患者的图像信息；图像识别单元，用于识别图像信息中的面部区域；图像切割单元，用于从面部区域中切割出人脸ROI；图像提取单元，用于从人脸ROI中提取出多个面部活动单元；图像灰度化单元，用于对人脸ROI进行灰度化处理得到灰度图；边缘提取单元，用于从灰度图中提取出人脸图像边缘；情绪识别单元，用于接收面部活动单元、灰度图和人脸图像边缘并进行处理从而输出情绪类别。本发明专利技术的具有情绪识别功能的病床终端，能够准确的识别患者的情绪，从而有利于医生的对患者的治疗。有利于医生的对患者的治疗。有利于医生的对患者的治疗。

【技术实现步骤摘要】
具有情绪识别功能的病床终端


[0001]本专利技术涉及一种具有情绪识别功能的病床终端。

技术介绍

[0002]随着智能化的发展，越来越多的传统设备逐步具备了智能化功能。目前市面上大多数病房床头终端，集成了语音通话以及预警等智能功能。但是现有的病房床头终端并没有情绪识别功能，无法实时感知患者的情绪变化，无法对表达障碍患者的需求进行及时的满足，评估患者的体验感和满意度较难。

技术实现思路

[0003]本专利技术提供了一种具有情绪识别功能的病床终端解决上述提到的技术问题，具体采用如下的技术方案：
[0004]一种具有情绪识别功能的病床终端，包含：
[0005]护理呼叫模块，用于供患者操作以连接至护士工作站并进行语音交互；
[0006]输液监护模块，用于监控患者的输液状况；
[0007]情绪识别模块，用于识别患者的情绪状态；
[0008]情绪识别模块包含：
[0009]图像采集单元，用于采集患者的图像信息；
[0010]图像识别单元，用于识别图像信息中的面部区域；
[0011]图像切割单元，用于从面部区域中切割出人脸ROI；
[0012]图像提取单元，用于从人脸ROI中提取出多个面部活动单元；
[0013]图像灰度化单元，用于对人脸ROI进行灰度化处理得到灰度图；
[0014]边缘提取单元，用于从灰度图中提取出人脸图像边缘；
[0015]情绪识别单元，用于接收面部活动单元、灰度图和人脸图像边缘并进行处理从而输出情绪类别。
[0016]进一步地，情绪识别单元包含：
[0017]第一拼接子单元，用于将灰度图和人脸图像边缘进行拼接；
[0018]VGG19卷积神经网络单元，用于接收第一拼接子单元的拼接结果并进行特征提取得到情绪特征；
[0019]特征处理单元，用于将VGG19卷积神经网络单元提取到的情绪特征展平为1维数组；
[0020]第二拼接子单元，用于将面部活动单元和特征处理单元处理后的情绪特征进行拼接；
[0021]分类器单元，用于接收第二拼接子单元的拼接结果并对其进行处理后得到情绪类别。
[0022]进一步地，分类器单元由两层全连接层与一层ReLU激活函数层构成。
[0023]进一步地，图像提取单元使用OpenFace工具从人脸ROI中提取17个面部运动单元，17个面部运动单元分别为AU01,AU02,AU04,AU05,AU06,AU07,AU09,AU10,AU12,AU14,AU15,AU17,AU20,AU23,AU25,AU26和AU45。
[0024]进一步地，图像灰度化子模块通过下述公式对人脸ROI进行灰度化处理得到灰度图：
[0025]Gray＝0.299*R+0.587*G+0.114*B
[0026]其中，R,G,B分别为RGB图像的红、绿、蓝通道，Gray为灰度化后的图像。
[0027]进一步地，边缘提取子模块通过canny算法从灰度图中提取出人脸图像边缘，在边缘提取子模块通过canny算法从灰度图中提取出人脸图像边缘的过程中，上下阈值分别设置为100和50。
[0028]进一步地，情绪识别模块还包含：
[0029]可视化显示单元，用于显示患者的人脸图像以及情绪识别单元分析得到的情绪类别。
[0030]进一步地，输液监护模块包含：
[0031]滴速监控单元，用于监控输液设备以判断当前的输液滴速；
[0032]智能预警单元，用于根据滴速监控模块检测到的输液滴速以及当前输液的药液类别判断当前的输液滴速是否合适；
[0033]全程检测单元，用于根据滴速监控模块检测到的输液滴速以及当前输液的药液类别进行实时计算得到剩余药液容量和剩余时间。
[0034]进一步地，输液监护模块还包含：
[0035]自动切断单元，用于在剩余时间达到阈值时自动切断药液供给。
[0036]进一步地，输液监护模块将输液滴速、剩余药液容量和剩余时间实时发送至后护士站服务器；
[0037]护士站服务器将接收到的信息发送至护士工作站大屏进行显示；
[0038]护士站服务器在剩余时间达到阈值时发送预警信号至护士站预警设备；
[0039]护士站预警设备发出预警信号。
[0040]本专利技术的有益之处在于所提供的具有情绪识别功能的病床终端，能够准确的识别患者的情绪，从而有利于医生的对患者的治疗。
[0041]本专利技术的有益之处还在于所提供的具有情绪识别功能的病床终端，采用数据级融合方式将人脸面部边缘与人脸面部灰度图融合，引导网络提取图像轮廓特征；采用特征级融合方式将面部动作单元与神经网络自动提取的高级特征融合，将先验知识与高级特征结合提升情绪识别算法的可靠性。
附图说明
[0042]图1是本专利技术的具有情绪识别功能的病床终端的情绪识别模块进行情绪识别的示意图；
[0043]图2是本专利技术的情绪识别单元的网络结构示意图；
[0044]图3是本专利技术的可视化显示单元的显示示意图。
具体实施方式
[0045]以下结合附图和具体实施例对本专利技术作具体的介绍。
[0046]本申请公开了一种具有情绪识别功能的病床终端，主要包含：护理呼叫模块、输液监护模块和情绪识别模块。护理呼叫模块用于供患者操作以连接至护士工作站并进行语音交互。输液监护模块用于监控患者的输液状况。情绪识别模块用于识别患者的情绪状态。
[0047]其中，情绪识别模块包含：图像采集单元、图像识别单元、图像切割单元、图像提取单元、图像灰度化单元、边缘提取单元和情绪识别单元。情绪识别模块负责情绪状态的实时监测，通过处理和分析可见光摄像头获取的视频图像实时监测患者的情绪状态七分量，并将结果通过可视化界面模块展示反馈给患者。情绪识别模块进行情绪识别的方法如图1所示。
[0048]具体而言，图像采集单元用于采集患者的图像信息。在本申请中，图像采集单元为可见光摄像头，可进行实时的视频拍摄。视频数据根据时间帧进行切割得到单帧图像。图像识别单元用于识别图像信息中的面部区域。图像切割单用于从面部区域中切割出人脸ROI(region of interest，感兴趣区域)。图像提取单元用于从人脸ROI中提取出多个面部活动单元。具体地，图像提取单元使用OpenFace工具从人脸ROI中提取17个面部运动单元，17个面部运动单元分别为AU01,AU02,AU04,AU05,AU06,AU07,AU09,AU10,AU12,AU14,AU15,AU17,AU20,AU23,AU25,AU26和AU45。
[0049]图像灰度化单元用于对人脸ROI进行灰度化处理得到灰度图。具体地，图像灰度化子模块通过下述公式对人脸ROI进行灰度化处理得到灰度图：
[0050]Gray＝0.299*R+0.587*G+0.114*B
[0051]其中，R,G,B分别为RGB图像的红、绿、蓝本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种具有情绪识别功能的病床终端，其特征在于，包含：护理呼叫模块，用于供患者操作以连接至护士工作站并进行语音交互；输液监护模块，用于监控患者的输液状况；情绪识别模块，用于识别患者的情绪状态；所述情绪识别模块包含：图像采集单元，用于采集患者的图像信息；图像识别单元，用于识别所述图像信息中的面部区域；图像切割单元，用于从所述面部区域中切割出人脸ROI；图像提取单元，用于从所述人脸ROI中提取出多个面部活动单元；图像灰度化单元，用于对所述人脸ROI进行灰度化处理得到灰度图；边缘提取单元，用于从所述灰度图中提取出人脸图像边缘；情绪识别单元，用于接收所述面部活动单元、所述灰度图和所述人脸图像边缘并进行处理从而输出情绪类别。2.根据权利要求1所述的具有情绪识别功能的病床终端，其特征在于，所述情绪识别单元包含：第一拼接子单元，用于将所述灰度图和所述人脸图像边缘进行拼接；VGG19卷积神经网络单元，用于接收所述第一拼接子单元的拼接结果并进行特征提取得到情绪特征；特征处理单元，用于将所述VGG19卷积神经网络单元提取到的情绪特征展平为1维数组；第二拼接子单元，用于将所述面部活动单元和所述特征处理单元处理后的情绪特征进行拼接；分类器单元，用于接收所述第二拼接子单元的拼接结果并对其进行处理后得到情绪类别。3.根据权利要求2所述的具有情绪识别功能的病床终端，其特征在于，所述分类器单元由两层全连接层与一层ReLU激活函数层构成。4.根据权利要求1所述的具有情绪识别功能的病床终端，其特征在于，所述图像提取单元使用OpenFace工具从所述人脸ROI中提取17个面部运动单元，17个面部运动单元分别为AU01,AU02,AU04,AU05,AU06,AU07,AU09,AU10,AU12,AU14,AU15,AU17,AU20,AU23,AU25,A...

【专利技术属性】
技术研发人员：赵明高，包建义，钱克勤，
申请(专利权)人：杭州慧田科技有限公司，
类型：发明
国别省市：