一种基于双目视觉的人体面部表情识别方法及其装置制造方法及图纸

本发明专利技术公开了一种基于双目视觉的人体面部表情识别方法，包括：获取一帧第一面部图像与第二面部图像；分别对第一面部图像与第二面部图像进行匹配，获得第一面部表情数据与第二面部表情数据；根据第一面部图像与第二面部图像建立三维面部模型，匹配获得三维面部表情数据；识别人体的面部表情；对相同的面部表情进行计时，输出相同的面部表情及相应的持续时间。本发明专利技术通过建立人体面部的三维面部模型，结合二维面部图像同时识别面部表情，从而提高了人体面部表情识别的准确度和鲁棒性。本发明专利技术还提出了一种基于双目视觉的人体面部表情识别装置。

【技术实现步骤摘要】

本专利技术涉及人体面部识别技术，尤其涉及一种基于双目视觉的人体面部表情识别方法及其装置。
技术介绍
目前，基于图像处理的人体面部表情识别主要是通过二维图像分析处理得到人体的面部表情。二维图像分析系统在结构上具有一定的不足和缺陷，主要表现在识别系统的不全面性和不准确性，二维图像所包含的图像信息有限，且容易受到光照、姿势等影响，精确定位较难实现，给人体面部表情识别带来了障碍。二维图像的表情识别系统一般首先提取人体面部的几何特征，然后根据其变化进行表情识别，但需要实现面部关键点的精确定位，对于在实际环境中快速准确地实现这一识别来说是很困难的。同时二维图像处理无法解析出人体面部三维变化。相比于单个相机检测，通过双目相机的左右相机和三维建模的相互校验可以减小面部表情识别错误率。因此，为了克服现有技术中的上述缺陷，亟需一种能够快速准确的人体面部表情识别技术和装置。
技术实现思路
本专利技术提出了一种基于双目视觉的人体面部表情识别方法，可以通过二维图像与三维图像技术的结合，快速精确地识别人体面部表情。本专利技术提出了一种基于双目视觉的人体面部表情识别方法，包括：获取一帧人体面部的图像，所述人体面部的图像包括第一面部图像与第二面部图像；匹配面部表情，根据预设的面部表情图像数据库分别对所述第一面部图像与所述第二面部图像进行匹配，获得第一面部表情数据与第二面部表情数据；匹配三维表情，根据所述第一面部图像与第二面部图像建立三维面部模型，根据所述面部表情图像数据库对所述三维面部模型进行匹配，获得三维面部表情数据；识别面部表情，分别将所述第一面部表情数据与所述第二面部表情数据与所述三维面部表情数据进行对比，若其中两个以上面部表情数据一致，则一致的面部表情数据被识别为当前的面部表情；否则，重新获取一帧人体面部的图像进行面部表情识别；计算面部表情持续时间，获取下一帧人体面部的图像对应的面部表情，若与当前的面部表情相同，则对所述当前的面部表情进行计时，直至获取的人体面部的图像所对应的面部表情与所述当前的面部表情不同时获得所述当前的面部表情的持续时间，并重新对获取的人体面部的图像所对应的面部表情进行计时；生成结果，输出所述当前的面部表情及相应的持续时间。本专利技术提出的所述基于双目视觉的人体面部表情识别方法中，所述三维面部模型是根据所述第一面部图像与所述第二面部图像采用双目立体匹配方式建立的。本专利技术提出的所述基于双目视觉的人体面部表情识别方法中，根据所述面部表情图像数据库匹配所述第一面部图像、所述第二面部图像或所述三维面部模型的过程包括：获取所述面部表情图像数据库中不同表情下面部图像特征部位的特征点集合；获取所述第一面部图像、所述第二面部图像或所述三维面部模型的特征点向量；根据每一种表情下的所述特征点集合，分别获取所述特征点向量针对所述表情的匹配率；确定匹配率最高的表情为所述第一面部表情数据、所述第二面部表情数据或所述三维面部表情数据。本专利技术提出的所述基于双目视觉的人体面部表情识别方法中，计算匹配率的计算过程包括如下步骤：采用Harris角点为匹配的关键特征点，分别计算第一面部图像与第二面部图像的Harris角点，将计算得到的Harris角点与标准数据库中在不同表情下图像的Harris角点进行匹配，将匹配度最高的表情设置为第一面部表情数据与第二面部表情数据；对面部关键部位的三维数据进行B样条曲面拟合，得到拟合的特征曲面，将所述特征曲面与标准数据库中在不同表情下的B样条特征曲面进行匹配，将匹配度最高的表情设置为三维面部表情数据。本专利技术提出的所述基于双目视觉的人体面部表情识别方法中，在识别面部表情时，进一步包括设定阈值来筛选识别的面部表情以增加表情识别的鲁棒性，对所述面部表情的处理包括如下步骤：若当前识别出的面部表情与前一时刻识别出的面部表情一致，则仍对所述前一时刻识别出的面部表情的计时时间进行计时累加；若当前识别出的面部表情与前一时刻识别出的面部表情不一致，则将所述计时时间清零并开始对所述当前识别出的面部表情进行计时；若所述计时时间超过设定的阈值，则将所述计时时间对应的面部表情设置为人体面部的图像所对应的面部表情；若所述当前识别出的面部表情的计时时间没有超过设定的阈值，则仍将所述前一时刻识别出的面部表情设置为人体面部的图像所对应的面部表情，并重新获取一帧人体面部的图像进行面部表情识别。本专利技术提出的所述基于双目视觉的人体面部表情识别方法中，若当前的面部表情计时超过设定的阈值时，则计时清零，清零后对最先获取的人体面部的图像所对应的面部表情进行计时。本专利技术还提出了一种基于双目视觉的人体面部表情识别装置，包括：摄像单元，其用于获取人体面部的图像；数据库，其用于存储面部表情图像数据库，所述面部表情图像数据库包含不同表情下面部图像特征部位的特征点集合；主控制器，其分别与所述摄像单元及所述数据库连接，用于根据所述面部表情图像数据库识别所述人体面部的图像获得面部表情，并根据所述面部表情的变化计算持续时间；图像显示器，其与所述主控制器连接，用于显示所述人体面部的图像、所述面部表情与所述面部表情的持续时间。本专利技术提出的所述基于双目视觉的人体面部表情识别装置中，所述摄像单元为双目摄像机，所述双目摄像机获取的人体面部的图像包括第一面部图像与第二面部图像。本专利技术提出的所述基于双目视觉的人体面部表情识别装置中，所述主控制器根据所述第一面部图像与所述第二面部图像采用双目立体匹配方式建立三维面部模型。本专利技术提出的所述基于双目视觉的人体面部表情识别装置中，所述主控制器是个人电脑、嵌入式系统、服务器或云服务器等具有数据处理功能的设备。本专利技术通过建立人体面部的三维面部模型，结合二维面部图像同时识别面部表情，从而提高了人体面部表情识别的准确度。本专利技术进一步对面部表情进行数字滤波，增加了人体面部表情识别的精确性和鲁棒性。附图说明图1是本专利技术基于双目视觉的人体面部表情识别方法的流程图。图2是本专利技术基于双目视觉的人体面部表情识别装置的示意图。具体实施方式结合以下具体实施例和附图，对本专利技术作进一步的详细说明。实施本专利技术的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本专利技术没有特别限制内容。如图1所示，本专利技术基于双目视觉的人体面部表情识别方法包括如下步骤：步骤S1获取一帧人体面部的图像，人体面部的图像包括第一面部图像与第二面部图像。步骤S2匹配面部表情，根据预设的本文档来自技高网...

【技术保护点】
一种基于双目视觉的人体面部表情识别方法，其特征在于，包括：获取一帧人体面部的图像，所述人体面部的图像包括第一面部图像与第二面部图像；匹配面部表情，根据预设的面部表情图像数据库分别对所述第一面部图像与所述第二面部图像进行匹配，获得第一面部表情数据与第二面部表情数据；匹配三维表情，根据所述第一面部图像与第二面部图像建立三维面部模型，根据所述面部表情图像数据库对所述三维面部模型进行匹配，获得三维面部表情数据；识别面部表情，分别将所述第一面部表情数据与所述第二面部表情数据与所述三维面部表情数据进行对比，若其中两个以上面部表情数据一致，则一致的面部表情数据被识别为当前的面部表情；否则，重新获取一帧人体面部的图像进行面部表情识别；计算面部表情持续时间，获取下一帧人体面部的图像对应的面部表情，若与当前的面部表情相同，则对所述当前的面部表情进行计时，直至获取的人体面部的图像所对应的面部表情与所述当前的面部表情不同时获得所述当前的面部表情的持续时间，并重新对获取的人体面部的图像所对应的面部表情进行计时；生成结果，输出所述当前的面部表情及相应的持续时间。

【技术特征摘要】
1.一种基于双目视觉的人体面部表情识别方法，其特征在于，包括：
获取一帧人体面部的图像，所述人体面部的图像包括第一面部图像与第二面部图像；
匹配面部表情，根据预设的面部表情图像数据库分别对所述第一面部图像与所述第二面
部图像进行匹配，获得第一面部表情数据与第二面部表情数据；
匹配三维表情，根据所述第一面部图像与第二面部图像建立三维面部模型，根据所述面
部表情图像数据库对所述三维面部模型进行匹配，获得三维面部表情数据；
识别面部表情，分别将所述第一面部表情数据与所述第二面部表情数据与所述三维面部
表情数据进行对比，若其中两个以上面部表情数据一致，则一致的面部表情数据被识别为当
前的面部表情；否则，重新获取一帧人体面部的图像进行面部表情识别；
计算面部表情持续时间，获取下一帧人体面部的图像对应的面部表情，若与当前的面部
表情相同，则对所述当前的面部表情进行计时，直至获取的人体面部的图像所对应的面部表
情与所述当前的面部表情不同时获得所述当前的面部表情的持续时间，并重新对获取的人体
面部的图像所对应的面部表情进行计时；
生成结果，输出所述当前的面部表情及相应的持续时间。
2.如权利要求1所述的基于双目视觉的人体面部表情识别方法，其特征在于，所述三维
面部模型是根据所述第一面部图像与所述第二面部图像采用双目立体匹配方式建立的。
3.如权利要求1所述的基于双目视觉的人体面部表情识别方法，其特征在于，根据所述
面部表情图像数据库匹配所述第一面部图像、所述第二面部图像或所述三维面部模型的过程
包括：
获取所述面部表情图像数据库中不同表情下面部图像特征部位的特征点集合；
获取所述第一面部图像、所述第二面部图像或所述三维面部模型的特征点向量；
根据每一种表情下的所述特征点集合，分别获取所述特征点向量针对所述表情的匹配率；
确定匹配率最高的表情为所述第一面部表情数据、所述第二面部表情数据或所述三维面
部表情数据。
4.如权利要求3所述的基于双目视觉的人体面部表情识别方法，其特征在于，计算匹配
率的计算过程包括如下步骤：
采用Harris角点为匹配的关键特征点，分别计算第一面部图像与第二面部图像的Harris
角点，将计算得到的Harris角点与标准数据库中在不同表情下图像的Harris角点进行匹配，
将匹配度最高的表情设置为第一面部表情数据与第二面部表情数据；
对面部关...

【专利技术属性】
技术研发人员：赵欣，彭浡，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海;31