微表情识别方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及图像识别和数字医疗领域，尤其涉及一种微表情识别方法、装置、计算机设备及存储介质。其方法包括：获取包含微表情和宏表情的待处理视频；对待处理视频进行包括人脸检测的数据预处理，得到预处理视频；通过三维微表情识别模型对预处理视频进行时空特征提取，得到微表情时空特征和宏表情时空特征；从微表情时空特征和宏表情时空特征中，提取微表情和宏表情的共享时空特征；根据共享时空特征、微表情时空特征以及宏表情时空特征对微表情进行表情分类，得到微表情的识别结果。本发明专利技术在考虑微表情的时空特征同时还考虑了宏表情的时空特征，增加了微表情的表达能力，提高了微表情识别的准确性。表情识别的准确性。表情识别的准确性。

【技术实现步骤摘要】
微表情识别方法、装置、计算机设备及存储介质


[0001]本专利技术涉及图像识别和数字医疗领域，尤其涉及一种微表情识别方法、装置、计算机设备及存储介质。

技术介绍

[0002]近年来，随着人工智能技术的快速发展，面部微表情的识别任务也越来越被重视。目前，微表情识别方法主要通过对微表情的面部运动特性、纹理特征等进行识别，以获取微表情；比如，在数字医疗相关场景下，比如智能诊疗、远程会诊时，可以通过识别病人的微表情辅助识别病人的当前病情。但由于在微表情中人脸面部运动幅度较小，因此，很难对微表情的特性进行完整捕捉和准确描述。并且，在微表情视频序列中，往往存在微表情持续时间短以及微表情数量有限等问题，增加了微表情特征捕捉的难度，使得微表情的识别率很难进一步提升。因此，现有技术中的微表情识别方法存在微表情识别率不高的问题。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种微表情识别方法、装置、计算机设备及存储介质，以解决现有微表情识别技术存在的微表情识别率不高的问题。
[0004]一种微表情识别方法，包括：
[0005]获取包含微表情和宏表情的待处理视频；
[0006]对所述待处理视频进行包括人脸检测的数据预处理，得到预处理视频；
[0007]通过三维微表情识别模型对所述预处理视频进行时空特征提取，得到微表情时空特征和宏表情时空特征；
[0008]从所述微表情时空特征和所述宏表情时空特征中，提取所述微表情和所述宏表情的共享时空特征；
[0009]根据所述共享时空特征、所述微表情时空特征以及所述宏表情时空特征对所述微表情进行表情分类，得到所述微表情的识别结果。
[0010]一种微表情识别装置，包括：
[0011]待处理视频模块，用于获取包含微表情和宏表情的待处理视频；
[0012]预处理视频模块，用于对所述待处理视频进行包括人脸检测的数据预处理，得到预处理视频；
[0013]时空特征提取模块，用于通过三维微表情识别模型对所述预处理视频进行时空特征提取，得到微表情时空特征和宏表情时空特征；
[0014]共享时空特征模块，用于从所述微表情时空特征和所述宏表情时空特征中，提取所述微表情和所述宏表情的共享时空特征；
[0015]识别结果模块，用于根据所述共享时空特征、所述微表情时空特征以及所述宏表情时空特征对所述微表情进行表情分类，得到所述微表情的识别结果。
[0016]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理
器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述微表情识别方法。
[0017]一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上述微表情识别方法。
[0018]上述微表情识别方法、装置、计算机设备及存储介质，通过获取包含微表情和宏表情的待处理视频；对所述待处理视频进行包括人脸检测的数据预处理，得到预处理视频；通过三维微表情识别模型对所述预处理视频进行时空特征提取，得到微表情时空特征和宏表情时空特征；从所述微表情时空特征和所述宏表情时空特征中，提取所述微表情和所述宏表情的共享时空特征；根据所述共享时空特征、所述微表情时空特征以及所述宏表情时空特征对所述微表情进行表情分类，得到所述微表情的识别结果。本专利技术通过三维微表情识别模型获取待处理视频的微表情时空特征、宏表情时空特征以及微表情时空特征与宏表情时空特征之间的共享时空特征，并基于获取的待处理视频在三个维度上的时空特征进行微表情识别，在考虑微表情的时空特征同时，充分考虑了宏表情的时空特征，增加了微表情的表达能力。且宏表情的时空特征相对宏表情的时空特征更加丰富，提高了微表情识别的准确性。上述微表情识别方法可应用于智能诊疗、远程会诊，如此，可以提升问诊时对病人的微表情的识别的准确率，进而提升问诊效率和效果。
附图说明
[0019]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本专利技术一实施例中微表情识别方法的一应用环境示意图；
[0021]图2是本专利技术一实施例中微表情识别方法的一流程示意图；
[0022]图3是本专利技术一实施例中微表情识别装置的一结构示意图；
[0023]图4是本专利技术一实施例中计算机设备的一示意图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]本实施例提供的微表情识别方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
[0026]在一实施例中，如图2所示，提供一种微表情识别方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
[0027]S10、获取包含微表情和宏表情的待处理视频。
[0028]可理解地，微表情是指瞬间闪现的面部表情，能揭示人的真实感情和情绪。与之相对的，宏表情是指持续时间稍长的面部表情，同样能揭示人的真实感情和情绪。待处理视频是指既包含微表情又包含宏表情的待进行微表情识别的视频。一般地，微表情表达的情绪种类包括开心、伤心、害怕、愤怒、厌恶等。同样地，宏表情表达的情绪种类也包括开心、伤心、害怕、愤怒、厌恶等。
[0029]S20、对所述待处理视频进行包括人脸检测的数据预处理，得到预处理视频。
[0030]可理解地，数据预处理是指对待处理视频的数据进行预处理。数据预处理包括但不限于人脸检测。其中，人脸检测是指对待处理视频的待处理视频帧序列进行人脸检测，得到人脸关键点的过程。预处理视频是指经过数据预处理后得到的视频。
[0031]S30、通过三维微表情识别模型对所述预处理视频进行时空特征提取，得到微表情时空特征和宏表情时空特征。
[0032]可理解地，三维微表情识别模型为训练完成的三维卷积神经网络，该三维微表情识别模型包括微表情识别网络和宏表情识别网络，用于提取预处理视频的时空特征。例如，三维微表情识别模型可为3D
‑
ResNet10(三维深度残差学习网络)。其中，预处理视频的时空特征包括微表情时空特征和宏表情时空特征。微表情时空特征是指预处理视频在时间和空间维度上的关于微表情的特征。宏表情时空特征是指预处理视频在时间和空间维度上的关于宏表情的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种微表情识别方法，其特征在于，包括：获取包含微表情和宏表情的待处理视频；对所述待处理视频进行包括人脸检测的数据预处理，得到预处理视频；通过三维微表情识别模型对所述预处理视频进行时空特征提取，得到微表情时空特征和宏表情时空特征；从所述微表情时空特征和所述宏表情时空特征中，提取所述微表情和所述宏表情的共享时空特征；根据所述共享时空特征、所述微表情时空特征以及所述宏表情时空特征对所述微表情进行表情分类，得到所述微表情的识别结果。2.如权利要求1所述的微表情识别方法，其特征在于，所述对所述待处理视频进行包括人脸检测的数据预处理，得到预处理视频，包括：利用视觉库对所述待处理视频中的待处理视频帧序列进行人脸检测，得到人脸关键点；根据所述人脸关键点进行人脸剪裁，得到人脸视频帧序列；根据所述人脸视频帧序列，生成所述预处理视频。3.如权利要求2所述的微表情识别方法，其特征在于，所述根据所述人脸视频帧序列，生成所述预处理视频，包括：根据所述人脸关键点，对所述人脸视频帧序列中的人脸视频帧进行人脸对齐，生成基准人脸视频；对所述基准人脸视频进行时域图像插值，得到所述预处理视频。4.如权利要求1所述的微表情识别方法，其特征在于，所述三维微表情识别模型包括微表情识别网络和宏表情识别网络；所述通过三维微表情识别模型对所述预处理视频进行时空特征提取，得到微表情时空特征和宏表情时空特征，包括：通过所述微表情识别网络对所述预处理视频中的待处理视频帧序列进行微表情时空特征提取，得到所述微表情时空特征；通过所述宏表情识别网络对所述预处理视频中的待处理视频帧序列进行宏表情时空特征提取，得到所述宏表情时空特征。5.如权利要求1所述的微表情识别方法，其特征在于，在所述通过三维微表情识别模型对所述预处理视频进行时空特征提取，得到微表情时空特征和宏表情时空特征之前，包括：获取微表情视频样本集和宏表情视频样本集；通过初始三维微表情识别模型，对所述微表情视频样本集和宏表情视频样本集进行时空特征样本提取，得到与所述微表情视频样本集对应的微表情时空特征样本集，以及与所述宏表情视频样本集对应的宏表情时空特征样本集；根据所述微表情时空特征样本集和所述宏表情时空特征样本集构建四元组损失函数；根据所述四元组损失函数和交叉熵损失函数确定损失值；在所述损失值未满足收敛条件时，迭代更新所述初始三维微表情识别模型的初始参数，并根据更新后的初始参数计算新损失值；当新的损失值满足所述收敛条件时，将与所述...

【专利技术属性】
技术研发人员：宋延新，王健宗，黄章成，吴天博，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：