用于评估异常吞咽动作的方法及系统技术方案

本发明专利技术公开了一种用于评估异常吞咽动作的方法及系统，属一种用于评估异常吞咽动作的方法及系统，包括如下步骤：通过摄像头采集评估者面部动作，生成视频文件；从视频文件中提取一帧人脸面部图像，使用人脸关键点检测算法生成多个关键点，并从多个关键点中提取嘴部关键点数据集合；嘴部关键点数据集合为点P1至点P12，点P1至点P12呈环形的规则分布于嘴唇外延；通过点P1至点P12，由下式计算得出嘴部纵横比MAR，当MAR≥THRESHOLD时，则判定为异常吞咽图像；本发明专利技术相较于传统的人工判断而言，可参考性更强，受个体差异的影响较小，且通过样本数据收集与AI学习亦可进一步提升吞咽异常情形判断的准确率。形判断的准确率。形判断的准确率。

【技术实现步骤摘要】
用于评估异常吞咽动作的方法及系统


[0001]本专利技术涉及一种口腔动作评估方法，更具体的说，本专利技术主要涉及一种用于评估异常吞咽动作的方法及系统。

技术介绍

[0002]吸吮吞咽是儿童早期吞咽唾液的一种生理方法，是在胎儿期由脑干神经发育而来。大约四岁左右，60％的儿童会自然形成一种新吞咽方式：牙齿吞咽型，它产生的肌肉力量将有利于上颌骨的正常生长。但是仍有大部分的儿童会持续吸吮式吞咽，影响面部发育，继而转变为异常吞咽。异常吞咽如果不能及时矫正，会影响面部发育，造成错颌畸形，影响颜面美观和牙齿排列。而现目前对于儿童异常吞咽多是通过人工判断，而单纯依赖人工判断本身存在较强的主观性，还容易因为个体差异导致评估结果出现偏差，并且受评估人员专业限制，如果没有明确的参照标准，也容易造成评估结果出现偏差，因而有必要针对此类异常吞咽的评估方法作进一步的研究与改进。

技术实现思路

[0003]本专利技术的目的之一在于针对上述不足，提供一种用于评估异常吞咽动作的方法及系统，以期望通过计算机技术解决上述异常吞咽评估主观性强，缺乏明确的参照标准，且因个体差异容易导致评估结果出现偏差等技术问题。
[0004]为解决上述的技术问题，本专利技术采用以下技术方案：
[0005]本专利技术一方面提供了一种用于评估异常吞咽动作的方法，该方法包括如下步骤：
[0006]通过摄像头采集评估者面部动作，生成视频文件；
[0007]从视频文件中提取一帧人脸面部图像，使用人脸关键点检测算法生成多个关键点，并从多个关键点中提取嘴部关键点数据集合；
[0008]嘴部关键点数据集合为点P1至点P12，所述点P1至点P12呈环形的规则分布于嘴唇外延；
[0009]通过点P1至点P12，由下式计算得出嘴部纵横比MAR，然后将嘴部纵横比MAR与预设阈值THRESHOLD进行比较，当MAR≥THRESHOLD时，则判定为异常吞咽图像；
[0010]所述嘴部纵横比MAR通过下式得到：
[0011]a＝|P1
‑
P7|
[0012]b＝(|P2
‑
P12|+|P6
‑
P8|)/2
[0013]c＝(|P3
‑
P11|+|P5
‑
P9|)/2
[0014]d＝|P4
‑
P10|
[0015](b+c+d)/3a＝MAR
[0016]当所述视频文件中的N帧人脸面部图像都被判定为所述异常吞咽图像时，则输出当前评估者的评估结果为异常吞咽，反之为非异常吞咽。
[0017]作为优选，进一步的技术方案是：所述方法还包括当输出评估者的评估结果为异
常吞咽后，由人工对当前评估结果进行确认。
[0018]更进一步的技术方案是：所述的方法还包括将每次的评估结果存储至样本数据库。
[0019]更进一步的技术方案是：在嘴部关键点数据集合中，点P1与点P7分别位于嘴部横向的最外侧，点P2至点P6位于上嘴唇外延，点P8至点P12位于下嘴唇外延，且点P2与点P12、点P3与点P11、点P4与点P10、点P5与点P9、点P6与点P8之间的连接线，均与点P1与点P7点之间的连接线垂直；且点P1与点P7之间的连接线，与点P4与点P10之间的连接线之间的垂直交点，位于嘴部的中心点。
[0020]本专利技术另一方面提供的一种用于评估异常吞咽动作的系统，所述的系统包括终端与服务器端，终端信号接入所述服务器端，其中：所述终端用于通过摄像头采集评估者面部动作，生成视频文件传输至服务器端；
[0021]上述服务器端用于在接收到所述视频文件后，从当前的视频文件中提取一帧人脸面部图像，使用人脸关键点检测算法生成多个关键点，并从多个关键点中提取嘴部关键点数据集合；嘴部关键点数据集合为点P1至点P12，所述点P1至点P12呈环形的规则分布于嘴唇外延；
[0022]通过点P1至点P12，由下式计算得出嘴部纵横比MAR，然后将嘴部纵横比MAR与预设阈值THRESHOLD进行比较，当MAR≥THRESHOLD时，则判定为异常吞咽图像；
[0023]所述嘴部纵横比MAR通过下式得到：
[0024]a＝|P1
‑
P7|
[0025]b＝(|P2
‑
P12|+|P6
‑
P8|)/2
[0026]c＝(|P3
‑
P11|+|P5
‑
P9|)/2
[0027]d＝|P4
‑
P10|
[0028](b+c+d)/3a＝MAR
[0029]当所述视频文件中的N帧人脸面部图像都被判定为所述异常吞咽图像时，则输出当前评估者的评估结果为异常吞咽，反之为非异常吞咽；
[0030]上述服务器端还用于将评估结果传输至终端。
[0031]作为优选，进一步的技术方案是：所述终端还用于展示评估结果，且当评估结果为异常吞咽时，由人工对当前评估结果进行确认。
[0032]更进一步的技术方案是：所述服务器端还用于将每次的评估结果存储至样本数据库。
[0033]作为优选，进一步的技术方案是：在嘴部关键点数据集合中，点P1与点P7分别位于嘴部横向的最外侧，点P2至点P6位于上嘴唇外延，点P8至点P12位于下嘴唇外延，且P2与P12、P3与P11、P4与P10、P5与P9、P6与P8之间的连接线，均与点P1与点P7之间的连接线垂直；且点P1与点P7之间的连接线，与P4与P10之间的连接线之间的垂直交点，位于嘴部的中心点。
[0034]与现有技术相比，本专利技术的有益效果之一是：通过人脸关键点检测算法生成嘴部关键点数据集合，利用嘴部关键点数据集合计算嘴部纵横比，并与预设的阈值进行比较，通过多帧图像判断从而评估当前被评估者是否存在吞咽异常，相较于传统的人工判断而言，可参考性更强，受个体差异的影响较小，且通过样本数据收集与AI学习亦可进一步提升吞
咽异常情形判断的准确率。
附图说明
[0035]图1为用于说明本专利技术一个实施例的方法流程图。
[0036]图2为用于说明本专利技术一个实施例的嘴部关键点数据集合示意图。
[0037]图3为用于说明本专利技术另一个实施例的系统示意框图。
具体实施方式
[0038]下面结合附图对本专利技术作进一步阐述。
[0039]参考图1所示，本专利技术的一个实施例是一种用于评估异常吞咽动作的方法，正如
技术介绍
中所提到的，部分儿童会保持早期吞咽唾液的吸吮式吞咽，影响面部发育，继而转变为异常吞咽，为了及时评估儿童是否存在此类异常吞咽，专利技术人基于现有技术中的MTCNN等人脸识别算法，设计了利用计算机AI技术实现的异常吞咽自动评估与判断方法，在本实施例中，该方法是通过如下步骤来实现的：
[0040]步骤S1、通过摄像头采集被评估者的面部动作，生成视频文件；该视频文件记录了被评估者进行吞咽的动作；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于评估异常吞咽动作的方法，其特征在于所述方法包括如下步骤：通过摄像头采集被评估者面部动作，生成视频文件；从所述视频文件中提取一帧人脸面部图像，使用人脸关键点检测算法生成多个关键点，并从多个关键点中提取嘴部关键点数据集合；所述嘴部关键点数据集合为点P1至点P12，所述点P1至点P12呈环形的规则分布于嘴唇外延；通过点P1至点P12，由下式计算得出嘴部纵横比MAR，然后将嘴部纵横比MAR与预设阈值THRESHOLD进行比较，当MAR≥THRESHOLD时，则判定为异常吞咽图像；所述嘴部纵横比MAR通过下式得到：a＝|P1
‑
P7|b＝(|P2
‑
P12|+|P6
‑
P8|)/2c＝(|P3
‑
P11|+|P5
‑
P9|)/2d＝|P4
‑
P10|(b+c+d)/3a＝MAR当所述视频文件中的N帧人脸面部图像都被判定为所述异常吞咽图像时，则输出当前被评估者的评估结果为异常吞咽，反之为非异常吞咽。2.根据权利要求1所述的用于评估异常吞咽动作的方法，其特征在于：所述方法还包括当输出被评估者的评估结果为异常吞咽后，由人工对当前评估结果进行确认。3.根据权利要求1或2所述的用于评估异常吞咽动作的方法，其特征在于：所述的方法还包括将每次的评估结果存储至样本数据库。4.根据权利要求1所述的用于评估异常吞咽动作的方法，其特征在于：在嘴部关键点数据集合中，点P1与点P7分别位于嘴部横向的最外侧，点P2至点P6位于上嘴唇外延，点P8至点P12位于下嘴唇外延，且点P2与点P12、点P3与点P11、点P4与点P10、点P5与点P9、点P6与点P8之间的连接线，均与点P1与点P7点之间的连接线垂直；且点P1与点P7之间的连接线，与点P4与点P10之间的连接线之间的垂直交点，位于嘴部的中心点。5.一种用于评估异常吞咽动作的系统，其特征在于所述的系统包括终端与服务器端，所述终端信号接入...

【专利技术属性】
技术研发人员：潘毅，
申请(专利权)人：成都牙贝美塑科技有限公司，
类型：发明
国别省市：