基于微表情的呼叫方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种基于微表情的呼叫方法、装置、计算机设备及存储介质。所述方法包括：接收客户端发送的采集数据；对视频图像进行面部情绪识别，得到目标用户的情绪状态；对体征指标数据进行检测，所述目标用户的体征状态；若所述目标用户的情绪状态所述目标用户的情绪异常，或者所述目标用户的体征状态所述目标用户的体征异常，所述客户端发送预设的询问语音；所述客户端返所述答复语音，对答复语音进行文本转换，得到答复语音对应的答复文本；对答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息；根据所述呼叫对象确定目标医务人员，并按照呼叫方式呼叫目标医务人员。本发明专利技术的技术方案提高了医疗监护的自动化水平和智能化水平。

Microexpression-based Calling Method, Device, Computer Equipment and Storage Media

【技术实现步骤摘要】
基于微表情的呼叫方法、装置、计算机设备及存储介质
本专利技术涉及计算机
，尤其涉及一种基于微表情的呼叫方法、装置、计算机设备及存储介质。
技术介绍
目前，病人在住院期间，在面对不舒服或者吊针打完等情况需要呼叫医务人员时，普遍的方法是由陪护家属去护士站寻找医生或者护士来病房处理，或者在病房通过床头的呼叫器呼叫医生或者护士。现有的呼叫方式均需要由人工手动进行，自动化水平低，并且智能化水平也不高，当病人没有家属陪护时，或者病人因身体情况无法使用床头的呼叫器时，往往导致无法及时呼叫医生或者护士，造成病情或者医疗的延误。
技术实现思路
本专利技术实施例提供一种基于微表情的呼叫方法、装置、计算机设备及存储介质，以解决现有的人工手动呼叫医务人员的方式导致医疗监护的自动化水平和智能化水平低的问题。一种基于微表情的呼叫方法，包括：接收客户端发送的采集数据，其中，所述采集数据包括目标用户的视频图像和体征指标数据；使用预设的微表情识别模型对所述视频图像进行面部情绪识别，得到所述目标用户的情绪状态；使用预设的指标检测模型对所述体征指标数据进行检测，得到所述目标用户的体征状态；若根据所述目标用户的情绪状态确定所述目标用户的情绪异常，或者根据所述目标用户的体征状态确定所述目标用户的体征异常，则向所述客户端发送预设的询问语音，以使所述客户端采集所述目标用户的答复语音；接收所述客户端返回的所述答复语音，并使用预设的语音识别模型，对所述答复语音进行文本转换，得到所述答复语音对应的答复文本；使用预设的语义识别模型对所述答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息，其中，所述目标呼叫信息包括呼叫对象和呼叫方式；根据所述呼叫对象确定目标医务人员，并按照所述呼叫方式呼叫所述目标医务人员。一种基于微表情的呼叫装置，包括：数据获取模块，用于接收客户端发送的采集数据，其中，所述采集数据包括目标用户的视频图像和体征指标数据；情绪识别模块，用于使用预设的微表情识别模型对所述视频图像进行面部情绪识别，得到所述目标用户的情绪状态；体征检测模块，用于使用预设的指标检测模型对所述体征指标数据进行检测，得到所述目标用户的体征状态；语音询问模块，用于若根据所述目标用户的情绪状态确定所述目标用户的情绪异常，或者根据所述目标用户的体征状态确定所述目标用户的体征异常，则向所述客户端发送预设的询问语音，以使所述客户端采集所述目标用户的答复语音；文本转换模块，用于接收所述客户端返回的所述答复语音，并使用预设的语音识别模型，对所述答复语音进行文本转换，得到所述答复语音对应的答复文本；语义识别模块，用于使用预设的语义识别模型对所述答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息，其中，所述目标呼叫信息包括呼叫对象和呼叫方式；目标呼叫模块，用于根据所述呼叫对象确定目标医务人员，并按照所述呼叫方式呼叫所述目标医务人员。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于微表情的呼叫方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于微表情的呼叫方法的步骤。上述基于微表情的呼叫方法、装置、计算机设备及存储介质中，通过使用微表情识别模型对客户端采集的目标用户的视频图像进行面部情绪识别，得到目标用户的情绪状态，并使用指标检测模型对客户端采集的目标用户的体征指标数据进行检测，得到目标用户的体征状态，然后根据目标用户的情绪状态和体征状态综合确定是否需要对目标用户进行语音询问，当需要对目标用户进行语音询问时，向客户端发送询问语音并接收客户端返回的答复语音，通过将答复语音转换为答复文本，并对答复文本进行语义识别，确定是否需要呼叫相关医务人员以及呼叫对象和呼叫方式，若根据语义识别结果确定需要呼叫医务人员，则根据呼叫对象选择需要呼叫的目标医务人员，并按照呼叫方式呼叫该目标医务人员，使得目标医务人员能够对目标用户提供及时的医疗服务，通过采用微表情识别、体征指标数据检测和语音询问相结合的方式，实时自动了解目标用户是否需要医务人员的帮助，并自动为目标用户呼叫合适的医务人员，尤其是在当病房中的目标用户没有家属陪护，或者因身体情况无法使用床头的呼叫器等情况时，能够及时地为其呼叫合适的医务人员，避免病情或者医疗的延误，提高了医疗监护的自动化水平和智能化水平。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例中基于微表情的呼叫方法的一应用环境示意图；图2是本专利技术一实施例中基于微表情的呼叫方法的一流程图；图3是本专利技术一实施例中基于微表情的呼叫方法中步骤S2的一流程图；图4是本专利技术一实施例中基于微表情的呼叫方法的步骤S6的一流程图；图5是本专利技术一实施例中基于微表情的呼叫方法中在对目标医务人员呼叫失败时采取新的呼叫措施的一流程图；图6是本专利技术一实施例中基于微表情的呼叫装置的一示意图；图7是本专利技术一实施例中计算机设备的一示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请提供的基于微表情的呼叫方法，可应用在如图1所示的应用环境中，该应用环境为医院里住院病人的病房环境。该应用环境包括服务端和客户端，其中，服务端和应用客户端之间通过网络进行连接，该网络可以是有线网络或者无线网络，客户端具体包括音视频采集装置以及体征指标检测装置，服务端可以用独立的服务器或者多个服务器组成的服务器集群实现。客户端将采集到的音视频数据发送到服务端，服务端根据对音视频数据进行分析，并根据分析结果自动呼叫相关的医护人员。在一实施例中，如图2所示，提供一种基于微表情的呼叫方法，以该方法应用在图1中的服务端为例进行说明，详述如下：S1：接收客户端发送的采集数据，其中，采集数据包括目标用户的视频图像和体征指标数据。在本实施例中，客户端具体可以是安装在医院病房中的一台智能沟通设备，该智能沟通设备包含视频采集装置、音频采集和播放装置，以及医疗数据收集装置。其中，视频采集装置具体可以是摄像头，用于采集目标用户的视频图像；音频采集和播放装置具体可以是麦克风，用于采集目标用户的语音，以及向目标用户播放语音；医疗数据收集装置通过与目标用户正在使用的医疗仪器之间进行连接，获取医疗仪器中的体征指标数据。例如，体征指标数据包括血压数据、心跳数据等。具体地，客户端将采集到得目标用户的视频图像和体征指标数据发送到服务端。需要说明的是，目标用户为医院病房中需要提供服务的病人，目标用户的人脸图像被预先保存在客户端中，客户端通过视频采集装置扫描病房中的每个人的脸部图像，并与预存的人脸图像进行匹配，识别出目标用户，锁定并跟踪识别出的目标用户，将目标用户的视频图像和体征指标本文档来自技高网...

【技术保护点】
1.一种基于微表情的呼叫方法，其特征在于，所述基于微表情的呼叫方法包括：接收客户端发送的采集数据，其中，所述采集数据包括目标用户的视频图像和体征指标数据；使用预设的微表情识别模型对所述视频图像进行面部情绪识别，得到所述目标用户的情绪状态；使用预设的指标检测模型对所述体征指标数据进行检测，得到所述目标用户的体征状态；若根据所述目标用户的情绪状态确定所述目标用户的情绪异常，或者根据所述目标用户的体征状态确定所述目标用户的体征异常，则向所述客户端发送预设的询问语音，以使所述客户端采集所述目标用户的答复语音；接收所述客户端返回的所述答复语音，并使用预设的语音识别模型，对所述答复语音进行文本转换，得到所述答复语音对应的答复文本；使用预设的语义识别模型对所述答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息，其中，所述目标呼叫信息包括呼叫对象和呼叫方式；根据所述呼叫对象确定目标医务人员，并按照所述呼叫方式呼叫所述目标医务人员。

【技术特征摘要】
1.一种基于微表情的呼叫方法，其特征在于，所述基于微表情的呼叫方法包括：接收客户端发送的采集数据，其中，所述采集数据包括目标用户的视频图像和体征指标数据；使用预设的微表情识别模型对所述视频图像进行面部情绪识别，得到所述目标用户的情绪状态；使用预设的指标检测模型对所述体征指标数据进行检测，得到所述目标用户的体征状态；若根据所述目标用户的情绪状态确定所述目标用户的情绪异常，或者根据所述目标用户的体征状态确定所述目标用户的体征异常，则向所述客户端发送预设的询问语音，以使所述客户端采集所述目标用户的答复语音；接收所述客户端返回的所述答复语音，并使用预设的语音识别模型，对所述答复语音进行文本转换，得到所述答复语音对应的答复文本；使用预设的语义识别模型对所述答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息，其中，所述目标呼叫信息包括呼叫对象和呼叫方式；根据所述呼叫对象确定目标医务人员，并按照所述呼叫方式呼叫所述目标医务人员。2.如权利要求1所述的基于微表情的呼叫方法，其特征在于，所述使用预设的微表情识别模型对所述视频图像进行面部情绪识别，得到所述目标用户的情绪状态包括：按照预设的提取方式，从所述视频图像中提取出包含所述目标用户的人脸图像的帧图像，并将提取到的所述帧图像标记为待识别图像；将每个所述待识别图像输入所述预设的微表情识别模型，得到每个所述待识别图像在N个预设的微表情状态下的情绪概率，其中，N为正整数；从每个所述待识别图像的N个所述情绪概率中，选择取值最大的所述情绪概率对应的微表情状态作为每个所述待识别图像的目标微表情状态；统计每种所述目标微表情状态的出现次数，并从统计结果中将所述出现次数最多的所述目标微表情状态作为所述目标用户的情绪状态。3.如权利要求1所述的基于微表情的呼叫方法，其特征在于，所述使用预设的语义识别模型对所述答复文本进行语义识别，并根据语义识别结果确定目标呼叫信息包括：在所述预设的语义识别模型中，对所述答复文本进行关键字提取，得到所述答复文本包含的答复关键字；将所述答复关键字与预设的呼叫信息数据库中的关键字进行匹配，将匹配成功的所述关键字作为目标关键字，其中，所述呼叫信息数据库中包含所述关键字与呼叫信息之间预设的对应关系；根据所述关键字与所述呼叫信息之间预设的对应关系，获取所述目标关键字对应的所述呼叫信息，并将获取到的所述呼叫信息作为所述目标呼叫信息。4.如权利要求1所述的基于微表情的呼叫方法，其特征在于，在所述根据所述呼叫对象确定目标医务人员，并按照所述呼叫方式呼叫所述目标医务人员之后，所述基于微表情的呼叫方法还包括：若在预设的时间间隔内没有接收到所述目标医务人员的呼叫响应，则按照预设的医务人员等级定义，获取高于所述呼叫对象的等级的高级别呼叫对象，并根据获取到的所述高级别呼叫对象确定新的目标医务人员；按照所述呼叫方式重新呼叫所述新的目标医务人员。5.如权利要求1至4任一项所述的基于微表情的呼叫方法，其特征在于，所述使用预设的指标检测模型对所述体征指标数据进行检测，得到所述目标用户的体征状态之后，所述基于微表情的呼叫方法还...

【专利技术属性】
技术研发人员：江虹，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44