嘴唇动作分析方法、装置及存储介质制造方法及图纸
The method, device and storage medium of lip action analysis
【技术实现步骤摘要】
嘴唇动作分析方法、装置及存储介质
本专利技术涉及计算机视觉处理
，尤其涉及一种嘴唇动作分析方法、装置及计算机可读存储介质。
技术介绍
嘴唇动作捕捉是基于人的脸部特征信息进行用户嘴唇动作识别的一种生物识别技术。目前，嘴唇动作捕捉的应用领域很广泛，在门禁考勤、身份识别等众多领域起到非常重要的作用，给人们的生活带来很大便利。嘴唇动作的捕捉，一般产品的做法是使用深度学习方法，通过深度学习训练出嘴唇特征的分类模型，然后使用分类模型来判断嘴唇的特征。然而，使用深度学习的方法来训练嘴唇特征，嘴唇特征的多少完全取决于嘴唇样本的种类，比如判断张嘴，闭嘴，那么至少需要取张嘴，闭嘴的大量样本，如果再想判断撇嘴，就需要再取撇嘴的大量样本，然后重新训练。这样不仅耗时，还不能做到实时捕捉。另外，根据嘴唇特征的分类模型判断嘴唇特征，并不能分析识别出的嘴唇区域是否为人的嘴唇区域。
技术实现思路
本专利技术提供一种嘴唇动作分析方法、装置及计算机可读存储介质，其主要目的在于根据嘴唇特征点的坐标计算实时脸部图像中嘴唇的运动信息，实现对嘴唇区域的分析及对嘴唇动作的实时捕捉。为实现上述目的，本专利技术提...
【技术保护点】
一种电子装置，其特征在于，所述装置包括：存储器、处理器及摄像装置，所述存储器中包括嘴唇动作分析程序，所述嘴唇动作分析程序被所述处理器执行时实现如下步骤：实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；特征点识别步骤：将该实时脸部图像输入预先训练好的嘴唇平均模型，利用该嘴唇平均模型识别出该实时脸部图像中代表嘴唇位置的t个嘴唇特征点；嘴唇区域识别步骤：根据所述t个嘴唇特征点确定嘴唇区域，将该嘴唇区域输入预先训练好的嘴唇分类模型，判断该嘴唇区域是否为人的嘴唇区域；及嘴唇运动判断步骤：若该嘴唇区域为人的嘴唇区域时，根据该实时脸部...
【技术特征摘要】
1.一种电子装置，其特征在于，所述装置包括：存储器、处理器及摄像装置，所述存储器中包括嘴唇动作分析程序，所述嘴唇动作分析程序被所述处理器执行时实现如下步骤：实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；特征点识别步骤：将该实时脸部图像输入预先训练好的嘴唇平均模型，利用该嘴唇平均模型识别出该实时脸部图像中代表嘴唇位置的t个嘴唇特征点；嘴唇区域识别步骤：根据所述t个嘴唇特征点确定嘴唇区域，将该嘴唇区域输入预先训练好的嘴唇分类模型，判断该嘴唇区域是否为人的嘴唇区域；及嘴唇运动判断步骤：若该嘴唇区域为人的嘴唇区域时，根据该实时脸部图像中t个嘴唇特征点的x、y坐标，计算得到该实时脸部图像中嘴唇的运动方向及运动距离。2.根据权利要求1所述的电子装置，其特征在于，所述嘴唇动作分析程序被所述处理器执行时，还实现如下步骤：提示步骤：当嘴唇分类模型判断该嘴唇区域不是人的嘴唇区域时，提示未从当前实时图像中检测到人的嘴唇区域、无法判断嘴唇运动，并返回至实时脸部图像获取步骤。3.根据权利要求1或2所述的电子装置，其特征在于，所述嘴唇分类模型的训练步骤包括：收集m张嘴唇正样本图像和k张嘴唇负样本图像，构成第二样本库；提取每张嘴唇正样本图像、嘴唇负样本图像的局部特征；及利用嘴唇正样本图像、嘴唇负样本图像及其局部特征对支持向量机分类器进行训练，得到人脸的嘴唇分类模型。4.根据权利要求1所述的电子装置，其特征在于，所述嘴唇运动判断步骤包括：计算实时脸部图像中上嘴唇内侧中心特征点与下嘴唇内侧中心特征点的距离，判断嘴唇的张开程度；将左侧外唇角特征点与上、下嘴唇外轮廓线上离左侧外唇角特征点最近的特征点分别相连形成向量计算向量之间的夹角，得到嘴唇左撇的程度；及将右侧外唇角特征点与上、下嘴唇外轮廓线上离右侧外唇角特征点最近的特征点分别相连形成向量计算向量之间的夹角，得到嘴唇右撇的程度。5.一种嘴唇动作分析方法，其特征在于，所述方法包括：实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；特征点识别步骤：将该实时脸部图像...
【专利技术属性】
技术研发人员：陈林，张国辉，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。