唇语预处理方法、装置及存储介质制造方法及图纸

本申请公开了一种唇语预处理方法、装置及存储介质。其中，该方法，包括：获取与待识别对象相关的视频，其中所述视频中包含所述待识别对象的嘴部区域图像，其中所述视频是通过在所述待识别对象读取第一文本信息的过程中对所述待识别对象进行拍摄而获得的视频；利用基于深度学习训练的识别模型，生成与所述嘴部区域图像对应的唇语信息；以及根据所述唇语信息以及所述第一文本信息，判定所述待识别对象是否为活体。达到了整个基于深度学习的唇语活体检测方法的具有较强的泛化能力、流程简单可靠以及识别准确率高的技术效果。及识别准确率高的技术效果。及识别准确率高的技术效果。

【技术实现步骤摘要】
唇语预处理方法、装置及存储介质


[0001]本申请涉及信息预处理领域，特别是涉及一种唇语预处理方法、装置及存储介质。

技术介绍

[0002]目前，唇语识别技术已经被广泛应用，一般唇语识别预处理操作如下：首先获取视频帧图像，对每一帧视频图像进行人脸检测，然后根据每一帧视频图像的人脸检测结果进行人脸关键点定位，根据人脸关键点裁剪出嘴部区域图像序列。但是，由于需要对每一帧都要进行人脸检测和人脸关键定位以及嘴部区域计算，预处理速度慢，并且视频相邻帧图像的人脸检测和人脸关键点也会有不小差异和浮动，会导致裁剪得到的嘴部区域图像序列，有较大抖动，不够平滑，会对唇语识别结果有负面影响，加大唇语识别难度。
[0003]针对上述的现有技术中存在的目前的唇语识别预处理方法需要对每一帧都要进行人脸检测和人脸关键定位以及嘴部区域计算，预处理速度慢，并且所得到的嘴部区域图像序列不够平滑，从而加大唇语识别难度的技术问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本公开的实施例提供了一种唇语预处理方法、装置及存储介质，以至少解决现有技术中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种唇语预处理方法，其特征在于，包括：获取与目标对象相关的视频帧图像；根据所述视频帧图像，生成有效图像序列，其中所述有效图像序列包含多帧有效图像，所述有效图像为包含所述目标对象的人脸的图像；在所述有效图像序列中的第一帧有效图像中确定包含所述目标对象的嘴部的第一嘴部区域图像；以及利用跟踪算法，基于所述第一嘴部区域图像，生成与所述有效图像序列对应的嘴部区域图像序列。2.根据权利要求1所述的方法，其特征在于，在所述有效图像序列中的第一帧有效图像中确定包含所述目标对象的嘴部的第一嘴部区域图像的操作，包括：对所述第一帧有效图像进行人脸检测，在所述第一帧有效图像中确定包含所述目标对象的人脸的第一人脸区域图像；以及对所述第一人脸区域图像进行人脸关键点定位，在所述第一人脸区域图像中确定包含所述目标对象的嘴部的第一嘴部区域图像。3.根据权利要求2所述的方法，其特征在于，对所述第一人脸区域图像进行人脸关键点定位，在所述第一人脸区域图像中确定包含所述目标对象的嘴部的第一嘴部区域图像的操作，包括：对所述第一人脸区域图像进行人脸关键点定位，确定所述目标对象的嘴部在所述第一人脸区域图像中的位置信息；以及根据所述位置信息，从所述第一人脸区域图像中裁剪出所述第一嘴部区域图像。4.根据权利要求1所述的方法，其特征在于，利用跟踪算法，基于所述第一嘴部区域图像，生成与所述有效图像序列对应的嘴部区域图像序列的操作，包括：利用所述跟踪算法，基于所述第一嘴部区域图像，在所述有效图像序列中的第二帧有效图像至最后一帧有效图像中确定包含所述目标对象的嘴部的多个第二嘴部区域图像；以及根据所述第一嘴部区域图像和所述多个第二嘴部区域图像，生成所述嘴部区域图像序列。5.根据权利要求4所述的方法，其特征在于，所述跟踪算法为KC...

【专利技术属性】
技术研发人员：赵幸福，孔志飞，赵立军，
申请(专利权)人：北京中关村科金技术有限公司，
类型：发明
国别省市：