表情辨识训练系统及表情辨识训练方法技术方案

一种表情辨识训练系统及方法。该系统包含训练模块、特征数据库、撷取模块、辨识模块及调整模块。训练模块根据已知脸部影像训练表情特征撷取模型。特征数据库储存已知脸部影像的已知表情特征。撷取模块连续撷取第一脸部影像，表情特征撷取模型根据第一脸部影像输出表情特征。辨识模块比对表情特征与已知表情特征，并据此将表情特征对应到已知表情特征。调整模块调整表情特征撷取模型，以缩小表情特征与对应表情特征征的已知表情特征之间的差值。本揭示的技术在每一次对未标记的脸部影像进行表情特征辨识时，会相应地调整表情特征撷取模型的参数，以使得表情特征撷取模型持续被训练，据此，即可提升表情特征辨识能力，而达到适应性、个人化的目的。

Facial Expression Recognition Training System and Facial Expression Recognition Training Method

【技术实现步骤摘要】
表情辨识训练系统及表情辨识训练方法
本揭示文件是关于一种训练系统及训练方法，尤指一种表情辨识训练系统及表情辨识训练方法。
技术介绍
随着科技的进步，脸部辨识的技术已经进展到表情辨识，也就是透过表情辨识系统可以辨识出脸部影像的各种表情，例如高兴、吃惊、悲伤、愤怒、厌恶、惊喜及悲愤等。习知表情辨识系统是透过机器学习，并利用大量的有标记的影像数据来训练此表情辨识系统，借以使此表情辨识系统能够辨识出脸部影像的各种表情。换言之，此表情辨识系统在训练好之后，除非再次给予有标记的影像数据来做训练，基本上此表情辨识系统的参数不会再变动，因此若有未标记的影像数据输入至此表情辨识系统，则此表情辨识系统有相当大的机率辨识错误。
技术实现思路
本揭示文件是揭示一种表情辨识训练系统以及表情辨识训练方法。本揭示文件的一种表情辨识训练包含训练模块、特征数据库、撷取模块、辨识模块及调整模块。训练模块根据已知脸部影像训练表情特征撷取模型。特征数据库储存已知脸部影像的已知表情特征。撷取模块撷取第一脸部影像，表情特征撷取模型根据第一脸部影像输出第一脸部影像的表情特征。辨识模块比对表情特征与已知表情特征，并据此将表情特征对应到已知表情特征其中一种已知表情特征。调整模块调整表情特征撷取模型，以缩小表情特征与已知表情特征之间的差值。根据本揭示文件的一实施例，表情辨识训练系统还包含影像校准模块，用以调正第一脸部影像以形成第二脸部影像，并锐利化第二脸部影像。表情特征撷取模型根据经锐利化的第二脸部影像辨识表情特征并输出至辨识模块。辨识模块是基于影像校准模块处理后的表情特征与已知表情特征比对。根据本揭示文件的一实施例，影像校准模块用以让每张人脸影像的五官可以对齐。根据本揭示文件的一实施例，影像校准模块用以相对于基准面平移第一脸部影像以使得第一脸部影像的鼻尖特征点与基准面的中心点对齐，旋转经平移的第一脸部影像以使得经平移的第一脸部影像的双眼连线与基准面的水平线平行，以形成第二脸部影像。根据本揭示文件的一实施例，表情特征撷取模型为旋积神经网络(convolutionalneuralnetwork)或神经网络(neuralnetwork)。本揭示文件的一种表情辨识训练方法包含根据已知脸部影像训练表情特征撷取模型。储存已知脸部影像的已知表情特征。撷取第一脸部影像，表情特征撷取模型根据第一脸部影像输出第一脸部影像的表情特征。比对表情特征与已知表情特征，并据此将表情特征对应到已知表情特征其中一种已知表情特征。调整表情特征撷取模型，以缩小表情特征与已知表情特征之间的差值。根据本揭示文件的一实施例，根据第一脸部影像输出表情特征的步骤包含：相对于基准面而调正第一脸部影像以形成第二脸部影像。锐利化第二脸部影像。根据经锐利化的第二脸部影像辨识表情特征。根据本揭示文件的一实施例，在相对于基准面而调正第一脸部影像以形成第二脸部影像的步骤包含：相对于基准面平移第一脸部影像以使得第一脸部影像的鼻尖特征点与基准面的中心点对齐。旋转经平移的第一脸部影像以使得经平移的第一脸部影像的双眼连线与基准面的水平线平行，以形成第二脸部影像。根据本揭示文件的一实施例，锐利化第二脸部影像的步骤包含：利用邻近-中心差分影像法(neighbor-centerdifferenceimages,NCDIs)锐利化第二脸部影像。根据本揭示文件的一实施例，表情特征撷取模型为旋积神经网络(convolutionalneuralnetwork)或神经网络(neuralnetwork)。本揭示文件的技术在每一次对未标记的脸部影像进行表情特征辨识时，会相应地调整表情特征撷取模型的参数，以使得表情特征撷取模型持续被训练，据此，即可提升表情特征辨识能力，而达到适应性、个人化的目的。附图说明为让本揭示内容的上述和其他目的、特征、优点与实施例能更明显易懂，所附附图的说明如下：图1为根据本揭示文件的一实施例所示的表情辨识训练系统的功能方块图；图2为根据本揭示文件的一实施例所示的表情辨识训练方法的流程图；图3A为根据本揭示文件的一实施例所示的第一脸部影像的示意图；图3B为在图3A所示的第一脸部影像中标示关键点的示意图；图3C为依据图3B所示的关键点在图3A所示的第一脸部影像中框选表情特征的示意图；图4为根据本揭示文件的另一实施例所示的表情辨识训练系统的功能方块图；图5为根据本揭示文件的另一实施例所示的表情辨识训练方法的流程图；图6为图5所示的表情辨识训练方法的步骤S240的进一步步骤的流程图；图7A为根据本揭示文件的一实施例所示的第一脸部影像与基准面的示意图；图7B为平移图7A所示的第一脸部影像以使得第一脸部影像中的鼻尖特征点与基准面的中心点对齐的示意图；图7C为旋转图7B所示的经平移的第一脸部影像以使得经平移的第一脸部影像的双眼连线与基准面的水平线平行而形成第二脸部影像的示意图；图7D为在图7C所示的第二脸部影像中标示关键点的示意图；图7E为依据图7D所示的关键点在图7C所示的第二脸部影像中框选表情特征的示意图。具体实施方式下文是举实施例配合所附附图作详细说明，以更好地理解本案的态样，但所供给的实施例并非用以限制本案所涵盖的范围，而结构操作的描述非用以限制其执行的顺序，任何由元件重新组合的结构，所产生具有均等功效的装置，皆为本案所涵盖的范围。请参照图1，其为根据本揭示文件的一实施例所示的表情辨识训练系统100的功能方块图。表情辨识训练系统100包含训练模块110、特征数据库120、撷取模块130、辨识模块140以及调整模块150。训练模块110用以根据多个已知脸部影像KFI训练表情特征撷取模型111。于一实施例中，已知脸部影像KFI可包含具有各种表情的脸部影像，例如高兴、吃惊、悲伤、愤怒、厌恶、惊喜及悲愤等。由于不同表情的已知脸部影像KFI具有不同的已知表情特征KFEF，因此训练模块110可依据不同的已知表情特征KFEF而对已知脸部影像KFI进行训练，进而得到相对应的表情特征撷取模型111。举例来说，若表情为高兴的已知脸部影像KFI，则训练模块110可根据已知脸部影像KFI的已知表情特征KFEF，例如嘴巴特征为嘴角上扬，而产生表情为高兴的表情特征撷取模型111；或者是，若表情为吃惊的已知脸部影像KFI，则训练模块110可根据已知脸部影像KFI的已知表情特征KFEF，例如嘴巴特征为嘴巴张开，而产生表情为吃惊的表情特征撷取模型111。于一实施例中，表情特征撷取模型111可为旋积神经网络(convolutionalneuralnetwork)或神经网络(neuralnetwork)。特征数据库120用以储存已知脸部影像KFI的已知表情特征KFEF，其中已知表情特征KFEF可用特征向量来表示，且对应不同表情的已知表情特征KFEF具有不同的特征向量范围。举例来说，表情为高兴的已知表情特征KFEF具有第一特征向量范围，而表情为吃惊的已知表情特征KFEF具有第二特征向量范围，也就是说落在第一特征向量范围中的特征向量即表示对应此特征向量的已知脸部影像KFI的表情为高兴的，而落在第二特征向量范围中的特征向量即表示对应此特征向量的已知脸部影像KFI的表情为吃惊的。撷取模块130用以连续撷取多个第一脸部影像FI1，这些第一脸部影像FI1可包含本文档来自技高网...

【技术保护点】
1.一种表情辨识训练系统，其特征在于，该表情辨识训练系统包含：一训练模块，用以根据多个已知脸部影像训练一表情特征撷取模型；一特征数据库，用以储存所述多个已知脸部影像的多个已知表情特征；一撷取模块，用以连续撷取多个第一脸部影像，该表情特征撷取模型根据所述多个第一脸部影像输出所述多个第一脸部影像的多个表情特征；一辨识模块，用以比对所述多个表情特征与所述多个已知表情特征，并据此将所述多个表情特征对应到所述多个已知表情特征；以及一调整模块，用以调整该表情特征撷取模型，以缩小所述多个表情特征与对应所述多个表情特征的所述多个已知表情特征之间的差值。

【技术特征摘要】
2018.02.09 TW 1071047961.一种表情辨识训练系统，其特征在于，该表情辨识训练系统包含：一训练模块，用以根据多个已知脸部影像训练一表情特征撷取模型；一特征数据库，用以储存所述多个已知脸部影像的多个已知表情特征；一撷取模块，用以连续撷取多个第一脸部影像，该表情特征撷取模型根据所述多个第一脸部影像输出所述多个第一脸部影像的多个表情特征；一辨识模块，用以比对所述多个表情特征与所述多个已知表情特征，并据此将所述多个表情特征对应到所述多个已知表情特征；以及一调整模块，用以调整该表情特征撷取模型，以缩小所述多个表情特征与对应所述多个表情特征的所述多个已知表情特征之间的差值。2.根据权利要求1所述的表情辨识训练系统，其特征在于，该表情辨识训练系统还包含：一影像校准模块，用以调正所述多个第一脸部影像以形成一第二脸部影像，并锐利化该第二脸部影像，该表情特征撷取模型根据经锐利化的该第二脸部影像辨识该表情特征并输出至该辨识模块，该辨识模块是基于该影像校准模块处理后的该表情特征与所述多个已知表情特征比对。3.根据权利要求2所述的表情辨识训练系统，其特征在于，该影像校准模块用以让每张人脸影像的五官相互对齐。4.根据权利要求3所述的表情辨识训练系统，其特征在于，该影像校准模块用以相对于一基准面平移各该第一脸部影像以使得各该第一脸部影像的一鼻尖特征点与该基准面的一中心点对齐，旋转经平移的各该第一脸部影像以使得经平移的各该第一脸部影像的一双眼连线与该基准面的一水平线平行，以形成该第二脸部影像。5.根据权利要求1所述的表情辨识训练系统，其特征在于，该表情特征撷取模型为旋积神经网络(convolutiona...

【专利技术属性】
技术研发人员：吴炳飞，林俊贤，钟孟良，
申请(专利权)人：财团法人交大思源基金会，
类型：发明
国别省市：中国台湾,71