基于微表情识别的智能监护方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种基于微表情识别的智能监护方法、装置、设备及介质，所述方法包括：获取摄像设备拍摄的被监护人员的监护视频；自监护视频的图像中提取被监护人员的人体关键点，并根据人体关键点获取人体动作类型；检测人体动作类型是否属于预设的静止类型；在属于静止类型时，自图像中提取被监护人员的微表情，并根据被监护人员的微表情确认该监护人员当前是否处于待监护状态；在该监护人员当前处于待监护状态时，获取与微表情对应的监护行为，并提示需要对被监护人员实施监护行为。本发明专利技术可以自动对被监护对象进行监控，并及时提示用户对被监护人员实施监护行为，大大减少了人力监护的成本。

Intelligent Monitoring Method, Device, Equipment and Media Based on Microexpression Recognition

The invention discloses an intelligent monitoring method, device, device and medium based on micro-expression recognition, which includes: acquiring the monitoring video of the monitored person captured by the camera equipment; extracting the key points of the monitored person from the image of the self-monitoring video, and acquiring the human action type according to the key points of the human body; detecting whether the human action type belongs to the preset static state or not. Type: When it belongs to static type, the microexpressions of the guardian are extracted from the image, and the status of the guardian is confirmed according to the microexpressions of the guardian; when the guardian is currently in the state of being monitored, the corresponding monitoring behaviors are obtained, and the guardian needs to be monitored. The invention can automatically monitor the monitored object and prompt the user to implement the monitoring behavior for the monitored person in time, thus greatly reducing the cost of human monitoring.

【技术实现步骤摘要】
基于微表情识别的智能监护方法、装置、设备及介质
本专利技术涉及微表情识别领域，具体涉及一种基于微表情识别的智能监护方法、装置、设备及介质。
技术介绍
随着安防行业的发展，监护系统也越来越普及，可以在智能终端连接网络之后远程查看摄像头拍摄的内容。但是，目前，对于老人、小孩、精神病人、医院病人、监狱等特殊群体进行监护时，需要时刻关注摄像头中拍摄的监控图像，否则无法及时关注到该特殊人群的需求，或无法做到持续避免意外情况的发生；而时刻关注摄像头需要人为全天候监控，如此，需要专人专职进行监控，显然，对于家庭中的儿童等特殊人群进行监护时，由于家庭成员都有其他工作需要处理，采用该种方案脱离现实。
技术实现思路
本专利技术实施例提供一种基于微表情识别的智能监护方法、装置、设备及介质，本专利技术可以自动对被监护对象进行监控，并及时提示用户对被监护人员实施监护行为，大大减少了人力监护的成本。一种基于微表情识别的智能监护方法，包括：获取摄像设备拍摄的被监护人员的监护视频；自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型；检测所述人体动作类型是否属于预设的静止类型；在属于所述静止类型时，自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态；在该监护人员当前处于待监护状态时，获取与所述微表情对应的监护行为，并提示需要对所述被监护人员实施所述监护行为。一种基于微表情识别的智能监护装置，包括：获取模块，用于获取摄像设备拍摄的被监护人员的监护视频；提取模块，用于自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型；检测模块，用于检测所述人体动作类型是否属于预设的静止类型；第一确认模块，用于在属于所述静止类型时，自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态；第一提示模块，用于在该监护人员当前处于待监护状态时，获取与所述微表情对应的监护行为，并提示需要对所述被监护人员实施所述监护行为。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述基于微表情识别的智能监护方法。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述基于微表情识别的智能监护方法。本专利技术提供的基于微表情识别的智能监护方法、装置、设备及介质，获取摄像设备拍摄的被监护人员的监护视频；自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型；检测所述人体动作类型是否属于预设的静止类型；在属于所述静止类型时，自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态；在该监护人员当前处于待监护状态时，获取与所述微表情对应的监护行为，并提示需要对所述被监护人员实施所述监护行为。本专利技术可以自动对被监护对象进行监控，并及时提示用户对被监护人员实施监护行为，大大减少了人力监护的成本。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例中基于微表情识别的智能监护方法的应用环境示意图；图2是本专利技术一实施例中基于微表情识别的智能监护方法的流程图；图3是本专利技术一实施例中基于微表情识别的智能监护方法的步骤S10的流程图；图4是本专利技术一实施例中基于微表情识别的智能监护方法的步骤S20的流程图；图5是本专利技术另一实施例中基于微表情识别的智能监护方法的步骤S20的流程图；图6是本专利技术一实施例中基于微表情识别的智能监护方法的步骤S40的流程图；图7是本专利技术一实施例中基于微表情识别的智能监护装置的原理框图；图8是本专利技术一实施例中基于微表情识别的智能监护装置的获取模块的原理框图；图9是本专利技术一实施例中基于微表情识别的智能监护装置的提取模块的原理框图；图10是本专利技术另一实施例中基于微表情识别的智能监护装置的提取模块的原理框图；图11是本专利技术一实施例中基于微表情识别的智能监护装置的第一确认模块的原理框图；图12是本专利技术另一实施例中基于微表情识别的智能监护装置的原理框图；图13是本专利技术又一实施例中基于微表情识别的智能监护装置的原理框图；图14是本专利技术一实施例中计算机设备的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供的基于微表情识别的智能监护方法，可以自动对被监护对象进行监控，并及时提示用户对被监护人员实施监护行为，大大减少了人力监护的成本。本专利技术可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务器进行通信。其中，客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一实施例中，如图2所示，提供一种基于微表情识别的智能监护方法，以该方法应用在图1中的服务器为例进行说明，包括以下步骤S10-S50：S10，获取摄像设备拍摄的被监护人员的监护视频。所述预设监护环境是指家庭、学校教室等可供儿童、老人、智力障碍人群、精神病人、医院病人、监狱等特定人群进行学习的小范围环境。其中，所述摄像设备可以为设置在所述预设监护环境内的摄像设备。在本实施例中，可以通过所述摄像设备录制所述监护环境内的监护视频，并从录制的所述监护视频的每一帧画面中提取人脸图像。在该预设监护环境中分布设有的多个可以进行拍摄视频和图像的摄像设备均可以随意旋转角度，和/或各所述摄像设备的位置亦可以在一定范围内进行调整(设定调整摄像设备以调整其高低、左右前后、倾斜角度等位置关系)，以达到所述预设监护环境中的所有空间的任何角度均可以被清晰地拍摄到的效果即可。同时，所述预设监护环境中根据需求在多个位置分布设有可以捕获声源信号的麦克风。在一实施例中，如图3所示，所述步骤S10包括：S101，获取预设监护环境中的所有声源，并在所有声源中检测是否存在符合预设声源要求的声源。在本实施例中，可根据上述设置在各个位置的麦克风来采集声源信号，之后可对采集的所有声源信号进行有效音频信号检测，并且还可通过ManyEars技术将检测到的多个声源进行分离以得到多个独立的声源。其中，符合所述预设声源要求的声源，是指在预设音量大小范围中，且声源在预设音量大小范围中的持续时长大于预设时长的声源。其中，预设音量大小范围可以根据需求进行设定，可以设定该音量大小范围的最小值和最大值，超出所述音量大小范围的最大值的即视为噪音，此时将其排除在符合所述预设声源要求的声源的范围之外，小于所述音量大小的最小值的，可以视为其不是本文档来自技高网...

【技术保护点】
1.一种基于微表情识别的智能监护方法，其特征在于，包括：获取摄像设备拍摄的被监护人员的监护视频；自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型；检测所述人体动作类型是否属于预设的静止类型；在属于所述静止类型时，自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态；在该监护人员当前处于待监护状态时，获取与所述微表情对应的监护行为，并提示需要对所述被监护人员实施所述监护行为。

【技术特征摘要】
1.一种基于微表情识别的智能监护方法，其特征在于，包括：获取摄像设备拍摄的被监护人员的监护视频；自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型；检测所述人体动作类型是否属于预设的静止类型；在属于所述静止类型时，自所述图像中提取所述被监护人员的微表情，并根据所述被监护人员的微表情确认该监护人员当前是否处于待监护状态；在该监护人员当前处于待监护状态时，获取与所述微表情对应的监护行为，并提示需要对所述被监护人员实施所述监护行为。2.如权利要求1所述的基于微表情识别的智能监护方法，其特征在于，所述获取摄像设备拍摄的被监护人员的监护视频，包括：获取预设监护环境中的所有声源，并在所有声源中检测是否存在符合预设声源要求的声源；在存在符合预设声源要求的声源时，通过声源定位运算对该声源进行定位，获取该声源的声源位置，并标记所述声源位置；获取摄像设备拍摄的对应于所述声源位置的监护视频，并采集所述监护视频中的人脸图像；检测所述人脸图像是否为预设的被监护人员的人脸图像；在所述人脸图像为预设的被监护人员的人脸图像时，将所述摄像设备的拍摄角度设定为持续跟拍所述被监护人员之后，获取所述摄像设备拍摄的所述被监护人员的监护视频。3.如权利要求1所述基于微表情识别的智能监护的方法，其特征在于，所述自所述监护视频的图像中提取所述被监护人员的人体关键点，并根据所述人体关键点获取人体动作类型，包括：自所述监护视频的图像中提取所述被监护人员的人体关键点，得到人体关键点原始序列；根据预设帧间差分方法计算不同帧的图像对应的人体关键点原始序列之间的差分序列，所述差分序列包含所述人体关键点对应的动作信息；基于神经网络模型，根据所述差分序列获得所述监护视频中的所述被监护人员的人体动作类型。4.如权利要求3所述的基于微表情识别的智能监护方法，其特征在于，所述基于神经网络模型，根据所述差分序列获得所述监护视频中的所述被监护人员的人体动作类型之前，还包括：获取视频样本；其中，所述视频样本中包含已知类型的人体动作类型；从所述视频样本的图像中提取人体关键点，得到人体关键点原始序列；根据预设的帧间差分方法计算所述视频样本中不同帧图像对应的人体关键点原始序列之间的差分序列；根据所述视频样本对应的差分序列和所述样本视频包含的人体动作类型，训练得到所述神经网络模型。5.如权利要求1所述的基于微表情识别的智能监护方法，其特征在于，所述自所...

【专利技术属性】
技术研发人员：谭莉，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44