基于坐标变换的嘴唇剪切方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及生物识别技术领域，提出一种基于坐标变换的嘴唇剪切方法、装置、电子设备及存储介质，其中的方法包括通过人脸识别引擎采集视频帧中的人脸信息；基于人脸信息获取人脸的所有特征点，并确定人脸中嘴唇的嘴角坐标信息及嘴唇的中心点坐标信息；对人脸矩形框标定的人脸进行归一化处理，获取符合预设标准人脸尺寸的人脸及对应的人脸转换比例系数；基于转换比例系数对嘴唇的中心点坐标进行转换，并获取转换后的新中心点坐标；根据新中心点坐标及预设的嘴唇剪切宽度和高度，确定出矩形区域；根据矩形区域剪切出人脸的嘴唇区域。本发明专利技术通过先识别视频中的人脸，然后对人脸进行归一化及坐标转换处理，可提高嘴唇剪切精度。

Lip cutting method, device, equipment and storage medium based on coordinate transformation

【技术实现步骤摘要】
基于坐标变换的嘴唇剪切方法、装置、设备及存储介质
本专利技术涉及生物识别
，尤其涉及一种基于坐标变换的嘴唇检测方法、装置、电子设备及计算机可读存储介质。
技术介绍
唇读是指通过观察说话人在发音过程中唇部的变化，读出或者部分读出其所说的内容。而计算机唇读是指通过建立唇读模型和分析发音过程中唇部运动参数，定量地处理唇动信息从而对视频中的序列图像进行分类和识别，或者辅助语音识别来提高语音识别率。对唇读的研究将对耳聋患者、执法机构及嘈杂环境中的工作者具有实际应用意义。目前，剪切人脸的唇部信息是唇读识别的基本准备工作之一，目前人脸唇部剪切的常用步骤包括：首先利用Dlib得到人脸的68个特征点(包含嘴唇的特征点)，然后根据嘴唇的特征点分布，直接进行嘴唇剪切。这种方式虽然简单快速，但是存在明显的缺陷，比如个体与镜头之间的距离是随时变化的，二者可远和近，在不进行处理的情况下，对应剪切出来的矩形区域中的嘴唇就会有大有小，从而影响唇语识别算法识别精度的提高。
技术实现思路
本专利技术提供一种基于坐标变换的嘴唇剪切方法、装置、电子设本文档来自技高网...

【技术保护点】
1.一种基于坐标变换的嘴唇剪切方法，应用于电子设备，其特征在于，所述方法包括：/n通过人脸识别引擎采集视频帧中的人脸信息，所述人脸信息包括人脸矩形框的基础坐标和尺寸信息；/n基于所述人脸信息获取所述人脸的所有特征点，并确定所述人脸中嘴唇的嘴角坐标信息及所述嘴唇的中心点坐标信息；/n对所述人脸矩形框标定的人脸进行归一化处理，并获取符合预设标准人脸尺寸的人脸及对应的人脸转换比例系数；/n基于所述转换比例系数对所述嘴唇的中心点坐标进行转换，并获取转换后的新中心点坐标；/n根据所述新中心点坐标及预设的嘴唇剪切宽度和高度，确定出矩形区域；/n根据所述矩形区域剪切出所述人脸的嘴唇区域。/n

【技术特征摘要】
1.一种基于坐标变换的嘴唇剪切方法，应用于电子设备，其特征在于，所述方法包括：
通过人脸识别引擎采集视频帧中的人脸信息，所述人脸信息包括人脸矩形框的基础坐标和尺寸信息；
基于所述人脸信息获取所述人脸的所有特征点，并确定所述人脸中嘴唇的嘴角坐标信息及所述嘴唇的中心点坐标信息；
对所述人脸矩形框标定的人脸进行归一化处理，并获取符合预设标准人脸尺寸的人脸及对应的人脸转换比例系数；
基于所述转换比例系数对所述嘴唇的中心点坐标进行转换，并获取转换后的新中心点坐标；
根据所述新中心点坐标及预设的嘴唇剪切宽度和高度，确定出矩形区域；
根据所述矩形区域剪切出所述人脸的嘴唇区域。


2.根据权利要求1所述的基于坐标变换的嘴唇剪切方法，其特征在于，
所述人脸矩形框的基础坐标为所述人脸矩形框的左上角的坐标信息、右上角的坐标信息、左下角的坐标信息或者右下角的坐标信息；
所述人脸矩形框的尺寸信息为所述人脸矩形框的宽度和高度(w，h)。


3.根据权利要求2所述的基于坐标变换的嘴唇剪切方法，其特征在于，所述确定所述人脸中嘴唇的嘴角坐标信息及所述嘴唇的中心点坐标信息的步骤包括：
通过所述所有特征点信息，确定人脸中嘴唇的嘴角坐标信息，所述嘴角坐标信息包括左嘴角坐标(x左，y左)和右嘴角坐标(x右，y右)；
根据所述左嘴角坐标和所述右嘴角坐标确定出嘴唇的中心点坐标为((x左+x右)/2，(y左+y右)/2)。


4.根据权利要求3所述的基于坐标变换的嘴唇剪切方法，其特征在于，所述预设标准人脸尺寸为(facew，faceh)，获取对应的人脸转换比例系数的步骤包括：
根据所述人脸矩形框的宽度和高度(w，h)，确定所述人脸转换比例系数为(facew/w，faceh/h)。


5.根据权利要求4所述的基于坐标变换的嘴唇剪切方法，其特征在于，通过公式：
(centerx,centery)＝((x左-x+x右-x)*(facew/w)/2,(x左–y+y左-y)*(faceh/h)/2)获取转换后的新中心点坐标，其中，(centerx,centery)为新中心点坐标，(x，y)为所述人脸矩形框的基础坐标。


...

【专利技术属性】
技术研发人员：王进，陈令刚，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44