本申请提供一种人脸微表情检测方法、装置及可读存储介质，方法包括：获取待检测的当前人脸图像；根据所述当前人脸图像中包含的人脸轮廓图像生成对应的3D人脸模型；基于所述3D人脸模型，获取人脸关键区域的关键点坐标；基于所述人脸关键区域的关键点坐标得到各关键点的映射后坐标；将所述各关键点的映射后坐标与基准关键点坐标进行比对，得到各关键点的运动轨迹信息；根据所述各关键点的运动轨迹信息，得到人脸微表情检测结果。本申请有助于降低拍摄设备性能要求及成本，方案适用范围更广，且有助于提高人脸微表情检测结果的准确性。有助于提高人脸微表情检测结果的准确性。有助于提高人脸微表情检测结果的准确性。
【技术实现步骤摘要】
一种人脸微表情检测方法、装置及可读存储介质
[0001]本申请涉及图像处理
，尤其涉及一种人脸微表情检测方法、装置及可读存储介质。
技术介绍
[0002]微表情分析指的是人面部的细微表情变化，其具有持续时间短，通常只有1/25s～1/3s；动作强度低，难以察觉；在无意识状态下产生，通常难以掩饰或伪装的特点。由于微表情在无意识状态下产生，难以伪装，因此在情感分析中较为可靠，此外今年对于超写实数字人面部动作、表情的细微控制，也通常通过对真实人脸的微表情分析得到输入数据。
[0003]目前微表情分析常用方法通常有两个步骤，一是微表情信息的预处理，二是对微表情特征的提取。微表情信息预处理方法通常有人脸裁剪、时域图像插值、动作放大，通过延长微表情持续时间或放大微表情来获取更多表情信息；对于表情信息的处理或特征提取方法也可从整体上分为传统方法(如LBP(Local Binary Patterns，线性反投影算法)、optical flow(光流法))和深度方法两种。
[0004]然而，现有技术普遍存在以下问题：
[0005]1、现有的以图像、光流等信息为特征进行的微表情分析模型，受环境影响较大，如出现光照产生的阴影、面部遮挡等情况，则难以发挥作用，导致微表情检测结果的准确性较低；
[0006]2、现有的测量人脸关键点或人脸区域景深的方法通常基于双目/多目摄像机实现，需要的网络带宽、成本都相较单目摄像头更多，设备性能要求高。
技术实现思路
[0007]本申请所要解决的技术问题是针对现有技术的上述不足，提供一种人脸微表情检测方法、装置及可读存储介质，用以解决现有技术存在的图像要求高、依赖双目/多目摄像机的问题。
[0008]第一方面，本申请提供一种人脸微表情检测方法，所述方法包括：
[0009]S1.获取待检测的当前人脸图像，所述当前人脸图像为采用单目摄像头拍摄的平面图像；
[0010]S3.根据所述当前人脸图像中包含的人脸轮廓图像，通过训练好的3D人脸生成模型生成对应的3D人脸模型；
[0011]S4.基于所述3D人脸模型，获取人脸关键区域的关键点坐标，所述关键点坐标包含各关键点的深度信息；
[0012]S5.基于所述人脸关键区域的关键点坐标，将所述人脸轮廓图像反向映射至所述当前人脸图像，得到各关键点的映射后坐标，所述映射后坐标包含各关键点的深度信息；
[0013]S6.将所述各关键点的映射后坐标与基准关键点坐标进行比对，得到各关键点的运动轨迹信息，其中，所述基准关键点坐标基于预设基准图像得到，所述预设基准图像的拍
摄时间先于当前人脸图像的拍摄时间；
[0014]S7.根据所述各关键点的运动轨迹信息，得到人脸微表情检测结果。
[0015]在一些实施例中，获取待检测的当前人脸图像之后，根据所述当前人脸图像中包含的人脸轮廓图像，通过训练好的3D人脸生成模型生成对应的3D人脸模型之前，还包括：
[0016]S2.对当前人脸图像进行目标检测，得到人脸关键区域检测结果；基于所述人脸关键区域检测结果，对所述当前人脸图像进行角度矫正，得到矫正图像；
[0017]所述根据所述当前人脸图像中包含的人脸轮廓图像，通过训练好的3D人脸生成模型生成对应的3D人脸模型，包括：
[0018]根据所述矫正图像中包含的人脸轮廓图像，通过训练好的3D人脸生成模型生成对应的3D人脸模型。
[0019]在一些实施例中，人脸关键区域至少包括左眼以及右眼；
[0020]基于所述人脸关键区域检测结果，对所述当前人脸图像进行角度矫正，得到矫正图像，包括：
[0021]S21.根据所述人脸关键区域检测结果中的左眼检测结果以及右眼检测结果，确定左眼中心位置以及右眼中心位置；
[0022]S22.基于所述左眼中心位置以及所述右眼中心位置，确定左右眼中心点连线与水平方向的偏移夹角；
[0023]S23.基于所述偏移夹角对所述当前人脸图像进行旋转，得到所述矫正图像。
[0024]在一些实施例中，根据所述当前人脸图像中包含的人脸轮廓图像，通过训练好的3D人脸生成模型生成对应的3D人脸模型，包括：
[0025]S31.通过裁剪提取所述矫正图像中的人脸轮廓图像；
[0026]S32.将所述人脸轮廓图像按照预设尺寸进行缩放，并将缩放后的图像输入训练好的3D人脸生成模型，得到所述人脸轮廓图像对应的3D人脸模型。
[0027]在一些实施例中，基于所述人脸关键区域的关键点坐标，将所述人脸轮廓图像反向映射至所述当前人脸图像，得到各关键点的映射后坐标，包括：
[0028]S51.获取所述人脸轮廓图像的角点坐标；
[0029]S52.根据所述角点坐标、所述人脸关键区域的关键点坐标以及人脸轮廓图像的缩放比例，确定人脸关键区域中各关键点的第一映射坐标；
[0030]S53.基于所述第一映射坐标以及所述偏移夹角，得到所述各关键点的映射后坐标。
[0031]在一些实施例中，将所述各关键点的映射后坐标与基准关键点坐标进行比对，得到各关键点的运动轨迹信息，包括：
[0032]S61.根据所述各关键点中第i个关键点的映射后坐标以及所述第i个关键点对应的基准关键点坐标，确定所述第i个关键点的运动方向以及运动距离，所述各关键点的运动轨迹信息包括各关键点的运动方向以及运动距离，其中，i≥1，且i为整数。
[0033]在一些实施例中，根据所述各关键点的运动轨迹信息，得到人脸微表情检测结果，包括：
[0034]S71.将所述各关键点的运动轨迹信息输入训练好的至少一种回归模型，得到人脸微表情检测结果；
[0035]其中，每一种回归模型表征一种微表情与人脸关键点运动轨迹的变量相关关系。
[0036]第二方面，本申请提供一种人脸微表情检测装置，所述装置包括：
[0037]图像获取模块，其设置为获取待检测的当前人脸图像，所述当前人脸图像为采用单目摄像头拍摄的平面图像；
[0038]模型生成模块，其设置为根据所述当前人脸图像中包含的人脸轮廓图像，通过训练好的3D人脸生成模型生成对应的3D人脸模型；
[0039]坐标获取模块，其设置为基于所述3D人脸模型，获取人脸关键区域的关键点坐标，所述关键点坐标包含各关键点的深度信息；
[0040]反向映射模块，其设置为基于所述人脸关键区域的关键点坐标，将所述人脸轮廓图像反向映射至所述当前人脸图像，得到各关键点的映射后坐标，所述映射后坐标包含各关键点的深度信息；
[0041]轨迹确定模块，其设置为将所述各关键点的映射后坐标与基准关键点坐标进行比对，得到各关键点的运动轨迹信息，其中，所述基准关键点坐标基于预设基准图像得到，所述预设基准图像的拍摄时间先于当前人脸图像的拍摄时间；
[0042]微表情确定模块，其设置为根据所述各关键点的运动轨迹信息，得到人脸微表情检测结果。
[0043]第三方面，本本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人脸微表情检测方法，其特征在于，所述方法包括：S1.获取待检测的当前人脸图像，所述当前人脸图像为采用单目摄像头拍摄的平面图像；S3.根据所述当前人脸图像中包含的人脸轮廓图像，通过训练好的3D人脸生成模型生成对应的3D人脸模型；S4.基于所述3D人脸模型，获取人脸关键区域的关键点坐标，所述关键点坐标包含各关键点的深度信息；S5.基于所述人脸关键区域的关键点坐标，将所述人脸轮廓图像反向映射至所述当前人脸图像，得到各关键点的映射后坐标，所述映射后坐标包含各关键点的深度信息；S6.将所述各关键点的映射后坐标与基准关键点坐标进行比对，得到各关键点的运动轨迹信息，其中，所述基准关键点坐标基于预设基准图像得到，所述预设基准图像的拍摄时间先于当前人脸图像的拍摄时间；S7.根据所述各关键点的运动轨迹信息，得到人脸微表情检测结果。2.根据权利要求1所述的人脸微表情检测方法，其特征在于，获取待检测的当前人脸图像之后，根据所述当前人脸图像中包含的人脸轮廓图像，通过训练好的3D人脸生成模型生成对应的3D人脸模型之前，还包括：S2.对当前人脸图像进行目标检测，得到人脸关键区域检测结果；基于所述人脸关键区域检测结果，对所述当前人脸图像进行角度矫正，得到矫正图像；所述根据所述当前人脸图像中包含的人脸轮廓图像，通过训练好的3D人脸生成模型生成对应的3D人脸模型，包括：根据所述矫正图像中包含的人脸轮廓图像，通过训练好的3D人脸生成模型生成对应的3D人脸模型。3.根据权利要求2所述的人脸微表情检测方法，其特征在于，人脸关键区域至少包括左眼以及右眼；基于所述人脸关键区域检测结果，对所述当前人脸图像进行角度矫正，得到矫正图像，包括：S21.根据所述人脸关键区域检测结果中的左眼检测结果以及右眼检测结果，确定左眼中心位置以及右眼中心位置；S22.基于所述左眼中心位置以及所述右眼中心位置，确定左右眼中心点连线与水平方向的偏移夹角；S23.基于所述偏移夹角对所述当前人脸图像进行旋转，得到所述矫正图像。4.根据权利要求3所述的人脸微表情检测方法，其特征在于，根据所述当前人脸图像中包含的人脸轮廓图像，通过训练好的3D人脸生成模型生成对应的3D人脸模型，包括：S31.通过裁剪提取所述矫正图像中的人脸轮廓图像；S32.将所述人脸轮廓图像按照预设尺寸进行缩放，并将缩放后的图像输入训练好的3D人脸生成模型，得到所述人脸轮廓图像对应的3D人脸模型。5.根据权利要求4所述的人脸微表情检测方法，其特征在于，基于所述人脸关键区域的关键点坐标，将所述人脸轮廓图像反向映射至所述当前人脸图像，得到各关键点的映射后坐标，包括：
...
【专利技术属性】
技术研发人员：吴浩然，王巍，赵世琦，魏家馨，马瑞涛，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。