本发明专利技术提供一种脸部表情辨识系统、装置及方法。所述脸部表情辨识系统包括：一脸部数据库，具有多个表情信息及多个光流场变化，每一所述光流场变化对应所述表情信息的其中一者；一影像撷取单元，用以撷取多个脸部影像；一表情辨识数据产生单元，耦接至所述影像撷取单元以及所述脸部数据库，用以由影像撷取单元接收一第一脸部影像以及一第二脸部影像、计算所述第一脸部影像以及所述第二脸部影像之间分别对应于每一所述表情信息的一光流场变化特征值；以及一表情辨识单元，耦接至表情辨识数据产生单元，依据计算所得的每一所述表情信息的光流场变化特征值，和所述脸部数据库中的多个光流场变化特征值，决定出所述脸部影像所对应的一脸部表情。
【技术实现步骤摘要】
本专利技术是有关于一种脸部表情辨识系统及其辨识方法，特别是有关于一种可经由脸部影像中辨识出脸部表情的辨识系统、辨识装置及辨识方法。
技术介绍
随着视觉技术的进步，许多人机互动的机制即可应用视觉检测与辨识的技术来达成，例如，移动机器人互动(含自动跟随)、安全监控等。对于静态或动态脸部影像，一套自动化的人脸辨识系统的主要工作在于，利用已建立的脸部影像数据库，来指认出一个或多个人，以作身份的识别或者辨识其表情特征。为了达成这个目的，首先必须将脸部从影像中撷取出来，其次则是作脸部特征撷取，以作为比较的根据。在人脸辨识这个研究领域中，最大的困难点在于人脸具有丰富的表情/动作变化，会影响辨识的准确度。因此，建构一套具高辨识率及高准确度的人脸辨识系统，是具有相当的挑战性，此外，通过脸部影像来辨识出人的情绪，在许多应用上也是相当重要。一种已知的经由视频影像辨识情绪的技术是利用自动表情特征点追踪器定位人脸以及人脸特征点，并依据特征点移动分量作为表情特征，再以分类器将特征做分类。然而，由视频影像取得的脸部影像，在大小、方向、光线及背景均存在极大的变异性，且因人的姿势、装扮、表情、遮蔽、旋转、以及与视频的状态都会影响特征点的检测，若无法取得特征点，就无法找到连续影像中如眼睛、嘴巴的连续变化，导致脸部表情辨识失败。此外，脸部情绪的显现细微多变，且因人而异，难以明确定义并描述，因此不易找出最具鉴别性的表情信息来判断表情。
技术实现思路
有鉴于此，本专利技术提供一种脸部表情辨识系统、辨识装置及其辨识方法，以解决前述的已知技术问题。本专利技术实施例提供一种脸部表情辨识系统，包括一脸部数据库、一影像撷取单元、 一表情辨识数据产生单元以及一表情辨识单元。脸部数据库具有多个表情信息及多个光流场变化，其中每一上述光流场变化对应上述表情信息的其中一者；影像撷取单元用以撷取多个脸部影像；表情辨识数据产生单元耦接至上述影像撷取单元以及上述脸部数据库，用以由上述影像撷取单元接收一第一脸部影像以及一第二脸部影像、计算上述第一脸部影像以及上述第二脸部影像之间分别对应于每一上述表情信息的一光流场变化特征值；以及， 表情辨识单元耦接至上述表情辨识数据产生单元，依据计算所得的每一上述表情信息的光流场变化特征值，和上述脸部数据库中的多个光流场变化特征值，决定出上述脸部影像所对应的一脸部表情。本专利技术实施例另提供一种脸部表情辨识装置，包括一壳体、一脸部数据库、一影像撷取单元、一表情辨识数据产生单元、一表情辨识单元、以及一显示单元。壳体可容纳脸部数据库、影像撷取单元、表情辨识数据产生单元和表情辨识单元于内部，显示单元可设置于壳体外部，或经由有线/无线连接方式与上述壳体中的表情辨识单元连接。脸部数据库， 设置于上述壳体内部，其具有多个表情信息及多个光流场变化，其中每一上述光流场变化对应上述表情信息的其中一者；影像撷取单元，设置于上述壳体内部，用以撷取多个脸部影像；表情辨识数据产生单元，设置于上述壳体内部，耦接至上述影像撷取单元以及上述脸部数据库，用以由上述影像撷取单元接收一第一脸部影像以及一第二脸部影像、计算上述第一脸部影像以及上述第二脸部影像之间分别对应于每一上述表情信息的一光流场变化特征值；表情辨识单元，设置于上述壳体内部，耦接至上述表情辨识数据产生单元，依据计算所得的每一上述表情信息的光流场变化特征值，和上述脸部数据库中的多个光流场变化特征值，决定出上述脸部影像所对应的一脸部表情；以及显示单元，设置于上述壳体外部，耦接至上述表情辨识单元，用以显示对应上述脸部表情的结果。本专利技术实施例另提供一种脸部表情辨识方法，其包括下列步骤。首先，接收一第一脸部影像以及一第二脸部影像。之后，计算第一脸部影像以及第二脸部影像之间的一光流场变化特征值。最后，依据计算所得的每一上述表情信息的光流场变化特征值，和一脸部数据库中的多个光流场变化特征值，决定出上述脸部影像所对应的一脸部表情，其中，上述脸部数据库具有多个表情信息及多个光流场变化特征值，且其中每一上述光流场变化特征值对应上述表情信息的其中一者。本专利技术上述方法可以通过程序码方式收录于实体媒体中。当程序码被机器载入且执行时，机器变成用以实行本专利技术的装置或系统。本专利技术的有益效果在于依据本专利技术的脸部表情辨识装置、系统及其方法，可进行以脸部影像或以视频为基础的脸部表情辨识，将二个脸部影像中、或是视频影像的特定时间区间的连续脸部影像的光流场变化，与脸部数据库中已存在的各种可能表情的光流场变化特征值进行比对，再根据比对结果辨识其表情。此外，更进一步时，依据本专利技术的脸部表情辨识系统及其方法，可基于表情光流场的特征以脸部特征点如鼻孔位置进行人脸角度校正，可抵抗因背景环境的影响导致脸部检测的不稳定，使计算出的表情光流场更加正确。同时，本专利技术系统可经由训练，将人脸区域对不同表情的区域重要度，产生对应的权重遮罩， 再利用每个表情的权重遮罩进行加权，以更有效率的进行表情分类。附图说明图1显示一依据本专利技术实施例的脸部表情辨识系统。图2显示一依据本专利技术实施例的脸部表情辨识装置。图3显示一依据本专利技术实施例的脸部表情辨识方法的流程图。图4显示一依据本专利技术实施例的基于鼻部区域的脸部校正步骤的流程图。图5显示一依据本专利技术实施例的表情与其对应的表情光流场的示意图。图6显示一依据本专利技术实施例的不同表情的权重遮罩的示意图。图7显示将训练出的一示范表情权重脸应用于表情光流场的实施例。附图标号100 脸部表情辨识系统；110 影像撷取单元；120 ‘ 表情辨识数据产生单元122 ‘ 校正模块；124 ‘ 计算模块；130 ‘ 表情辨识单元；140 ‘ 脸部数据库；200 ‘ 脸部表情辨识装置；210 ‘ 壳体；220 ‘ 脸部数据库；230 ‘ 影像撷取单元；240 ‘ 表情辨识数据产生单元250 ‘ 表情辨识单元；260 ‘ 显示单元；S310-S330 执行步骤；S410-S450 执行步骤；0-6 ‘ 表情脸；OFl-0F6 表情光流场；610-660 权重遮罩；710、720 表情光流场。具体实施例方式为使本专利技术的上述和其他目的、特征、和优点能更明显易懂，下文特举出较佳实施例，并配合所附附图，作详细说明如下。本专利技术实施例中提供一种脸部表情辨识系统及其方法，经由一脸部数据库所储存的光流场变化特征值和二个或二个以上脸部影像的光流场变化特征值，以决定其脸部影像的表情。更进一步时，脸部数据库可先收集大量脸部表情影像当作训练数据，纪录每种表情的光流场变化(Optical flow)，其还可进一步经由学习和训练，对每一种表情于脸部区域依重要性来进行加权，产生每一种表情的权重遮罩(weight mask)，以找出对于每一种表情最具鉴别性的光流场变化特征值，而精准的判断使用者脸部所显露的情绪。此外，在接收到的脸部影像中，更可以鼻孔的影像作为基准点进行校正，以便能更准确的找出能辨识情绪的人脸特征，如眼睛、嘴巴等，以进行辨识表情。图1显示依据本专利技术实施例的一脸部表情辨识系统。脸部表情辨识系统100可以设置于一便携式装置或一计算机装置，例如移动电话、PDA、GPS导航机、笔记本电脑、各种类型的电脑上，以进行脸部表情辨识。系统100至少包括一影像撷取单元110、一表情辨识数据产生单元120本文档来自技高网...
【技术保护点】
【技术特征摘要】
【专利技术属性】
技术研发人员：王文男，赖尚宏，廖家德，庄蕙如，蔡子宸，张芳凯，
申请(专利权)人：财团法人资讯工业策进会，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。