基于面部特征点的老年人进食过程中咀嚼动作的识别方法技术

本发明专利技术公开了一种基于面部特征点的老年人进食过程中咀嚼动作的识别方法，具体如下：首先通过摄像头采集在护理床上的老人的图像作为待识别图像；其次对输入图像采用改进的多任务级联的卷积神经网络MTCNN进行人脸检测，获取老年人稳定的面部区域；再将获得的面部区域采用人脸特征点定位算法定位人脸特征点，并根据特征点的位置提取嘴部特征点和面部轮廓特征点；接着根据嘴部特征点和面部轮廓特征点的位置变化情况反映咀嚼过程中嘴部和面部轮廓形状的变化情况；最后结合嘴部和面部轮廓形状的变化情况来融合识别老年人进食过程中的咀嚼动作。本发明专利技术用来尽可能保证老年人进食过程中的安全，防止老年人因没有充分咀嚼食物而发生吞咽困难的情况。发生吞咽困难的情况。发生吞咽困难的情况。

【技术实现步骤摘要】
基于面部特征点的老年人进食过程中咀嚼动作的识别方法


[0001]本专利技术属于图像处理
，特别涉及一种基于面部特征点的老年人进食 过程中咀嚼动作的识别方法。

技术介绍

[0002]截至2018年底，我国目前约有2.49亿老年人，而失能半失能的老年人则有 4400万之多。这部分老人中有相当一部分人群由于脑卒中、帕金森、痴呆等疾 病导致吞咽功能受损，加上他们认知能力、自理能力的下降以及消化系统功能性 的退化，使得这部分老年人在进食过程中出现呛咳、误吸甚至窒息等饮食意外， 严重影响了老年人的生活质量。
[0003]现有的咀嚼动作识别方法通常是给老年人佩戴可穿戴设备，通过可穿戴设备 传出的信号来判断老年人在进食过程中是否做了咀嚼动作。佩戴可穿戴设备可能 会使老人在进食过程中有不舒服的体验，所以本文提出了一种基于面部特征点的 老年人进食过程中咀嚼动作的识别方法，在保证了识别准确率的同时保证了老年 人进食过程中的安全。

技术实现思路

[0004]本专利技术的目的在提出一种基于面部特征点的老年人进食过程中咀嚼动作的 识别方法，能够在进食过程中监测老年人是否咀嚼了口腔中的食物。
[0005]实现本专利技术目的的技术解决方案为：一种基于面部特征点的老年人进食过程 中咀嚼动作的识别方法，通过基于深度学习的人脸检测、面部特征点检测技术实 现，包括以下步骤：
[0006]步骤1、通过摄像头采集在护理床上的老人的面部图像作为输入图像；
[0007]步骤2、对输入图像采用改进的多任务级联的卷积神经网络MTCNN进行人 脸检测，获取老年人稳定的面部区域；
[0008]步骤3、将获得的面部区域采用人脸特征点定位算法定位人脸特征点，并根 据特征点的位置提取嘴部特征点和面部轮廓特征点；
[0009]步骤4、根据嘴部特征点和面部轮廓特征点的位置变化情况反映咀嚼过程中 嘴部和面部轮廓形状的变化情况；
[0010]步骤5、结合嘴部和面部轮廓形状的变化情况来融合识别老年人进食过程中 的咀嚼动作，用来尽可能保证老年人进食过程中的安全，防止老年人因没有充分 咀嚼食物而发生吞咽困难的情况。
[0011]本专利技术与现有技术相比，其显著优点在于：
[0012](1)根据结合嘴部和面部轮廓形状的变化情况来融合识别老年人进食过程 中的咀嚼动作，可以给老年人提供更自然、和谐的人机交互方式，可以使老年人 在进食过程中得到更可靠的看护。
[0013](2)在护理床的应用场景中，由于只需对护理床上的老年人的单张人脸进 行检测，原始的MTCNN算法应用在这一场景时会产生很多冗余计算，如护理 床旁边的人脸图像
或者不含人脸的输入图像也会被处理，影响人脸检测的速度。 本专利技术通过压缩图像金字塔来降低MTCNN中P
‑
Net网络的输入图像数量，减少 人脸检测的时间。
[0014](3)因为影响MTCNN检测人脸速度的主要因素是P
‑
Net网络生成的人脸 候选框数量，故本专利技术通过对MTCNN中的P
‑
Net网进行自微调来减少P
‑
Net网 络产生的人脸候选框的数量，从而减少人脸检测的时间。
[0015](4)本专利技术提出了一种在老年人咀嚼过程中面部轮廓变化的检测方法，该 方法利用面部轮廓特征点，通过计算面部轮廓角度，能够准确检测出做咀嚼动作 时面部轮廓的变化情况。
附图说明
[0016]图1为本专利技术所提供的咀嚼动作识别总体流程示意图。
[0017]图2为本专利技术所提供的人脸检测算法MTCNN网络的工作流程示意图。
[0018]图3为本专利技术所提供的压缩图像金字塔改进方案示意图。
[0019]图4为本专利技术所提供的嘴部纵横比MAR的计算示意图。
[0020]图5为本专利技术所提供的面部轮廓角度α的计算示意图。
具体实施方式
[0021]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合具体实例， 对此专利技术作进一步说明：
[0022]结合图1，本专利技术实施例提供的一种基于面部特征点的老年人进食过程中咀 嚼动作的识别方法包括以下步骤：
[0023]步骤1、通过摄像头采集在护理床上的老人的图像作为待识别图像，采集频 率为每秒25～30帧。
[0024]步骤2，对输入图像采用改进的多任务级联的卷积神经网络MTCNN进行人 脸检测，获取老年人稳定的面部区域。
[0025]进一步地，所述步骤2中的人脸检测主要是判断动态视频序列中人脸的位置， 如果检测到了人脸，则希望能够输出一个矩形框将检测到的人脸全部标记出来。
[0026]结合图2，本专利技术使用了MTCNN模型进行人脸检测，其检测过程主要分为 三个阶段：首先通过一个浅层的卷积神经网络P
‑
Net快速产生大量的候选窗口； 然后通过一个相对较复杂的卷积神经网络R
‑
Net进一步识别候选窗口排除非人 脸来优化候选窗口；最后使用一个更加复杂的卷积神经网络O
‑
Net再次优化人脸 窗口，同时输出五个人脸特征点的位置。
[0027]进一步地，本专利技术对现有的人脸检测算法MTCNN做了两点改进：1)针对 护理床的应用场景，现有的MTCNN人脸检测算法会产生冗余计算，故本专利技术 通过压缩图像金字塔来降低MTCNN中P
‑
Net网络的输入图像数量来减少人脸检 测的时间；2)因为影响MTCNN网络检测速度的主要因素在于P
‑
Net模块生成 的人脸候选框数量，故本专利技术提出了对MTCNN中P
‑
Net网络进行自微调来减少 P
‑
Net网络产生的人脸候选框的数量，从而进一步减少人脸检测的时间。
[0028]进一步地，结合图3所示的压缩图像金字塔改进方案示意图，具体改进做法 为：首
先确定了该场景下的最小可检测图像minisize，然后根据该值来调整图像 金字塔的缩放因子factor，最后对图像金字塔进行压缩，减少MTCNN网络的输 入来降低检测的复杂度，具体为：
[0029]1‑
1)确定护理床应用背景下的最小可检测图像minisize，其计算公式为：
[0030][0031]1‑
2)根据minisize调整图像金字塔的放缩因子factor，计算公式为：
[0032][0033]1‑
3)根据放缩因子factor对图像金字塔进行压缩，降低MTCNN中P
‑
Net 网络输入图像集的规模。
[0034]其中参数W和H分别表示采集图像的宽和高，参数F
r
和S
r
分别表示人脸框 的宽高比和人脸在图像中的占比，二者均为常量。
[0035]进一步地，对MTCNN的P
‑
Net网络进行自微调的具体步骤如下：
[0036]2‑
1)通过护理床上的监控视频，采集到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于面部特征点的老年人进食过程中咀嚼动作的识别方法，其特征在于，通过基于深度学习的人脸检测和面部特征点定位技术实现，包括以下步骤：步骤1、通过摄像头采集在护理床上的老人的面部图像作为输入图像；步骤2、对输入图像采用改进的多任务级联的卷积神经网络MTCNN进行人脸检测，获取老年人稳定的面部区域；步骤3、将获得的面部区域采用人脸特征点定位算法定位人脸特征点，并根据特征点的位置提取嘴部特征点和面部轮廓特征点；步骤4、根据嘴部特征点和面部轮廓特征点的位置变化情况反映咀嚼过程中嘴部和面部轮廓形状的变化情况；步骤5、结合嘴部和面部轮廓形状的变化情况来融合识别老年人进食过程中的咀嚼动作，用来尽可能保证老年人进食过程中的安全，防止老年人因没有充分咀嚼食物而发生吞咽困难的情况。2.根据权利要求1所述的基于面部特征点的老年人进食过程中咀嚼动作的识别方法，其特征在于，所述步骤1中，采集频率为每秒25～30帧。3.根据权利要求1所述的基于面部特征点的老年人进食过程中咀嚼动作的识别方法，其特征在于，所述步骤2中，对输入图像采用改进的多任务级联的卷积神经网络MTCNN进行人脸检测，获取老年人稳定的面部区域，具体如下：1)基于护理床的应用场景，通过压缩图像金字塔来减少MTCNN中P
‑
Net网络输入图像集的规模，从而减少人脸检测的时间；2)通过对MTCNN的P
‑
Net网络进行自微调来减少P
‑
Net生成的人脸候选框数量，从而提高网络性能并进一步减少人脸检测的时间；3)将输入图像输入到改进后的MTCNN中进行人脸检测，最终得到老年人稳定的面部区域。4.根据权利要求3所述的基于面部特征点的老年人进食过程中咀嚼动作的识别方法，其特征在于，通过压缩图像金字塔来减少MTCNN中P
‑
Net输入图像集的规模，具体步骤如下：1
‑
1)确定护理床应用背景下的最小可检测的老年人面部图像minisize，其计算公式为：1
‑
2)根据minisize调整图像金字塔的放缩因子factor，计算公式为：1
‑
3)根据放缩因子factor对图像金字塔进行压缩，降低MTCNN中P
‑
Net网络输入图像集的规模；其中，W表示输入图像的宽，H表示输入图像的高，F
r
表示人脸框的宽高比，S
r
表示人脸在输入图像中的占比，F
r
...

【专利技术属性】
技术研发人员：吴洪帆，孙瑜，刘理想，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：