表情识别方法、系统、设备及存储介质技术方案

本发明专利技术涉及表情识别方法、系统、设备及存储介质。表情识别方法包括：按照预设的采样频率，对多个面部区域同时进行图像采集，得到每个面部区域的第一图像；其中，多个面部区域属于不同的面部区域组，每个面部区域组中至少包括一个面部区域；根据连续多个采样周期采集到的第一图像确定有效表情时间段；其中，有效表情时间段包括连续的多个子时间段，每个子时间段对应的采样周期的数量相同；根据面部区域组在每个子时间段中的第一图像，确定面部区域组在每个子时间段内的表情标签；根据多个面部区域组在有效表情时间段中的多个子时间段中的表情标签，确定有效表情时间段的表情。确定有效表情时间段的表情。确定有效表情时间段的表情。

【技术实现步骤摘要】
表情识别方法、系统、设备及存储介质


[0001]本公开实施例涉及人脸识别领域，更具体地，涉及一种表情识别方法、系统、设备及存储介质。

技术介绍

[0002]随着对面部图像的表情识别研究的不断发展，通过将采集到的面部图像输入至卷积神经网络、深度挖掘并提取图中表情的特征、训练网络学会表情的分类是目前的主流研究方向，但使用这样的方法进行面部表情识别仍存在许多不足之处，识别准确性和识别率不高。

技术实现思路

[0003]本公开实施例的一个目的是提供一种关于表情识别方法的新的技术方案。
[0004]根据本公开的第一方面，提供了一种表情识别的方法，表情识别方法包括：按照预设的采样频率，对多个面部区域同时进行图像采集，得到每个面部区域的第一图像；其中，多个面部区域属于不同的面部区域组，每个面部区域组中至少包括一个面部区域；根据连续多个采样周期采集到的第一图像确定有效表情时间段；其中，有效表情时间段包括连续的多个子时间段，每个子时间段对应的采样周期的数量相同；根据面部区域组在每个子时间段中的第一图像，确定面部区域组在每个子时间段内的表情标签；根据多个面部区域组在有效表情时间段中的多个子时间段中的表情标签，确定有效表情时间段的表情。
[0005]可选地，基于光学导航传感器采集获得第一图像。
[0006]可选地，选取面部区域组为左右对称的第一面部区域和第二面部区域；和/或，选取面部区域组为属于面部同一部位的多个面部区域。
[0007]可选地，根据连续多个采样周期采集到的第一图像确定有效表情时间段，包括：计算面部区域的第一图像相比于面部区域的预设图像的变化量，将变化量作为第一图像的参考值；其中，预设图像为在面部放松状态下的采集到的图像；根据连续多个采样周期采集到的第一图像的参考值，确定表情开始时间和表情结束时间，将从表情开始时间至表情结束时间的时间段作为有效表情时间段。
[0008]可选地，根据面部区域组在每个子时间段中的第一图像，确定面部区域组在每个子时间段内的表情标签，包括：将面部区域组在子时间段中同一个采样周期内的第一图像，拼接为面部区域组在子时间段内的第二图像；按照采样周期的先后顺序，将面部区域组在子时间段内的第二图像，拼接为面部区域组在子时间段内的第三图像；将面部区域组在子时间段内的第三图像输入至预先训练好的分类模型，通过分类模型输出面部区域组在子时间段内的表情标签。
[0009]可选地，根据多个面部区域组在有效表情时间段中的多个子时间段中的表情标签，确定有效表情时间段的表情，包括：如果多个面部区域组在目标子时间段内的表情标签相同，则将目标子时间段的表情判定结果设置为有效并且将多个面部区域组在目标子时间
段的表情标签作为目标子时间段的表情标签；
[0010]如果多个面部区域组在目标子时间段内的表情标签不相同，则将目标子时间段的表情判定结果设置为无效并且跳过对目标子时间段的表情标签的判定，对多个面部区域组在下一个目标子时间段内的表情标签进行判定；其中，目标子时间段为有效表情时间段中的任一个子时间段。
[0011]可选地，根据多个面部区域组在有效表情时间段中的多个子时间段中的表情标签，确定有效表情时间段的表情，还包括：
[0012]如果有效表情时间段中的连续M个子时间段中至少存在N个子时间段的表情判定结果为有效并且N个子时间段的表情标签相同，则将N个子时间段的表情标签作为有效表情时间段的表情；
[0013]如果有效表情时间段中的连续M个子时间段中少于N个子时间段的表情判定结果为有效，或者在连续M个子时间段中至少存在N个子时间段的表情判定结果为有效，但是N个子时间段的表情标签不相同，则从最后一个表情标签一致的子时间段开始，对往后连续M个子时间段的表情标签进行重新判定；其中，M和N为正整数，N小于等于M。
[0014]根据本公开的第二方面，还提供了一种表情识别系统，表情识别系统包括：面部图像采样模块，用于按照预设的采样频率，对多个面部区域同时进行图像采集，得到每个面部区域的第一图像；其中，多个面部区域属于不同的面部区域组，每个面部区域组中至少包括一个面部区域；
[0015]有效表情确定模块，用于根据连续多个采样周期采集到的第一图像确定有效表情时间段；其中，有效表情时间段包括连续的多个子时间段，每个子时间段对应的采样周期的数量相同；
[0016]第一表情判定模块，用于根据面部区域组在每个子时间段中的第一图像，确定面部区域组在每个子时间段内的表情标签；
[0017]第二表情判定模块，用于根据多个面部区域组在有效表情时间段中的多个子时间段中的表情标签，确定有效表情时间段的表情。
[0018]根据本公开的第三方面，还提供了一种头戴式电子设备，应用于面部，面部包括多个面部区域，多个面部区域属于不同的面部区域组，每个面部区域组中至少包括一个面部区域，头戴式电子设备包括：外壳，外壳可以固定在面部，外壳的内部设有容纳空间；面部贴合组件，面部贴合组件设于外壳，面部贴合组件可以与面部的皮肤相贴合；多个光学导航传感器,多个光学导航传感器设于面部贴合组件，多个光学导航传感器对应设置在多个面部区域，多个光学导航传感器紧贴面部区域的皮肤，多个光学导航传感器用于采集每个面部区域的图像；其中，图像包括每个面部区域中皮肤的移动方向和距离信息；数字信号处理器，数字信号处理器设于容纳空间，数字信号处理器用于根据第一方面中任一项的表情识别方法对多个光学导航传感器采集到的图像进行处理，输出面部的表情。
[0019]根据本公开的第四方面，还提供了一种终端设备，包括：处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面中任一项的表情识别方法的步骤。
[0020]根据本公开的第五方面，还提供一种计算机可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面中任一项的表情识别方法的步
骤。
[0021]本公开实施例提供的表情识别方法，通过对多个面部区域在多个采样周期内进行图像采集，得多个面部区域的第一图像。根据连续多个采样周期采集到的第一图像确定有效表情时间段，然后根据面部区域组在每个子时间段中的第一图像，确定面部区域组在每个子时间段内的表情标签。最后根据多个面部区域组在有效表情时间段中的多个子时间段中的表情标签，确定有效表情时间段的表情。根据本公开的表情识别方法，通过采集设定的多个面部区域的图像来进行表情识别，提高了表情识别的准确性和识别率，同时降低了计算量，通过较少的数据就可以实现面部的表情识别。
[0022]通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。
附图说明
[0023]被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。
[0024]图1是可用于实现一个实施例的终端设备的硬件配置结构图；
[0025]图2是根据一个实施例的表情识别方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情识别方法，其特征在于，包括：按照预设的采样频率，对多个面部区域同时进行图像采集，得到每个面部区域的第一图像；其中，多个面部区域属于不同的面部区域组，每个面部区域组中至少包括一个面部区域；根据连续多个采样周期采集到的第一图像确定有效表情时间段；其中，所述有效表情时间段包括连续的多个子时间段，每个子时间段对应的采样周期的数量相同；根据面部区域组在每个子时间段中的第一图像，确定面部区域组在每个子时间段内的表情标签；根据多个面部区域组在有效表情时间段中的多个子时间段中的表情标签，确定有效表情时间段的表情。2.根据权要求1所述的方法，其特征在于，基于光学导航传感器采集获得所述第一图像。3.根据权利要求1所述的方法，其特征在于，选取所述面部区域组为左右对称的第一面部区域和第二面部区域；和/或，选取所述面部区域组为属于面部同一部位的多个面部区域。4.根据权利要求1所述的方法，其特征在于，所述根据连续多个采样周期采集到的第一图像确定有效表情时间段，包括：计算所述面部区域的第一图像相比于所述面部区域的预设图像的变化量，将所述变化量作为所述第一图像的参考值；其中，所述预设图像为在面部放松状态下的采集到的图像；根据连续多个采样周期采集到的第一图像的参考值，确定表情开始时间和表情结束时间，将从所述表情开始时间至所述表情结束时间的时间段作为有效表情时间段。5.根据权利要求1所述的方法，其特征在于，所述根据面部区域组在每个子时间段中的第一图像，确定面部区域组在每个子时间段内的表情标签，包括：将所述面部区域组在所述子时间段中同一个采样周期内的第一图像，拼接为所述面部区域组在所述子时间段内的第二图像；按照采样周期的先后顺序，将所述面部区域组在所述子时间段内的第二图像，拼接为所述面部区域组在所述子时间段内的第三图像；将所述面部区域组在所述子时间段内的第三图像输入至预先训练好的分类模型，通过所述分类模型输出所述面部区域组在所述子时间段内的表情标签。6.根据权利要求1所述的方法，其特征在于，所述根据多个面部区域组在有效表情时间段中的多个子时间段中的表情标签，确定有效表情时间段的表情，包括：如果多个面部区域组在目标子时间段内的表情标签相同，则将所述目标子时间段的表情判定结果设置为有效并且将多个面部区域组在目标子时间段的表情标签作为所述目标子时间段的表情标签；如果多个面部区域组在目标子时间段内的表情标签不相同，则将所述目标子时间段的表情判定结果设置为无效并且跳过对所述目标子时间段的表情标签的判定，对多个面部区域组在下一个目标子时间段内的表情标签进行判定；其中，所述目标子时间段为所述有效表情时间段中的任一个子时间段。7.根据权利要求6所述的方法，其特征在于,所述根据多个面部区域组在有效表情时间
段中的多个子时间段中的表情标签...

【专利技术属性】
技术研发人员：殷继亮，
申请(专利权)人：歌尔股份有限公司，
类型：发明
国别省市：