一种基于时空信息的面部疼痛表情分析方法及系统技术方案

本发明专利技术公开了一种基于时空信息的面部疼痛表情分析方法及系统，通过使用滑动窗口采样面部表情视频，获得若干段采样视频，能够提高数据集的利用率，对视频帧进行离散余弦变换并采用锯齿扫描进行增强，获得细节特征增强图，能够增强细节信息，然后将每段采样视频的所有视频帧和对应的细节特征增强图组合后分别输入Transformer模型，在Transformer模型中采用串联交叉方式提取时间特征和空间特征并融合，最后根据每段采样视频对应的疼痛级别获得疼痛分析结果。能够充分地提取面部表情视频的特征信息，疼痛评估的准确性高。疼痛评估的准确性高。疼痛评估的准确性高。

【技术实现步骤摘要】
一种基于时空信息的面部疼痛表情分析方法及系统


[0001]本专利技术涉及疼痛评估
，尤其涉及的是一种基于时空信息的面部疼痛表情分析方法及系统。

技术介绍

[0002]国际上对于疼痛的评估都是由受过专门训练并熟悉各项监测指标的医护人员进行人工评估，评估结果更多地依赖于个人的知识与经验，并受个人的情绪等主观因素的影响，不能完全客观反映病患疼痛程度。因此，开发一种面部表情的疼痛分析方法，为临床提供客观准确的疼痛评估，对医护人员及时采取相应的镇痛措施具有非常重要的意义和价值。
[0003]当前的疼痛评估方法多是对面部表情图像进行分析，获得疼痛等级，没有考虑到表情是一个动态变化的过程，同时具有时间域上的特征信息和空间域上的序列信息，因此，特征信息提取不够充分，疼痛评估的准确性不高。并且当前对视频进行分割时仅仅是对视频进行分段，增加视频的段数，获得多段视频，本质上并没有提高整体数据集的数据量和利用率。

技术实现思路

[0004]本专利技术的主要目的在于提供一种基于时空信息的面部疼痛表情分析方法、系统、智能终端及存储介质，能够解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于时空信息的面部疼痛表情分析方法，其特征在于，所述方法包括：获取面部表情视频；采用滑动窗口对所述面部表情视频进行采样，获得若干段采样视频；对每段采样视频的每一视频帧分别进行离散余弦变换，获得每一视频帧对应的频域矩阵；采用锯齿扫描对所述频域矩阵进行增强后再进行离散余弦逆变换，获得每一视频帧对应的细节特征增强图；将每段采样视频的所有视频帧和对应的细节特征增强图组合并分别输入Transformer模型，在所述Transformer模型中以串联交叉方式提取时间特征和空间特征，获得每段采样视频对应的疼痛级别；根据所有采样视频对应的疼痛级别获得疼痛分析结果并输出。2.如权利要求1所述的基于时空信息的面部疼痛表情分析方法，其特征在于，所述采用滑动窗口对所述面部表情视频进行采样，获得若干段采样视频，包括：根据第一段采样视频预设的起始帧位置、采样总帧数、间隔帧数初始化滑动窗口；根据所述间隔帧数在滑动窗口内采样所述面部表情视频的视频帧，获得第一段采样视频；将下一段采样视频设为目标视频段；根据移动步长滑动所述滑动窗口；当目标视频段预设的采样总帧数、间隔帧数与前一段采样视频预设的采样总帧数、间隔帧数中任一项不同时，根据目标视频段预设的采样总帧数、间隔帧数更新滑动窗口；根据目标视频段预设的间隔帧数在滑动窗口内采样所述面部表情视频的视频帧，获得所述目标视频段；返回将下一段采样视频设为目标视频段以获得下一段采样视频，直至获得所有段采样视频。3.如权利要求1所述的基于时空信息的面部疼痛表情分析方法，其特征在于，所述采用锯齿扫描对所述频域矩阵进行增强，包括：采用锯齿扫描方式，从所述频域矩阵的右下角开始扫描，依次获取频域频率特征信息，若当前扫描位置的序号为偶数时，用前一位置的频域频率特征信息替换当前扫描位置的频域频率特征信息。4.如权利要求1所述的基于时空信息的面部疼痛表情分析方法，其特征在于，对视频帧进行离散余弦变换，获得视频帧对应的频域矩阵，包括：基于预设图像块尺寸，将所述视频帧分割为若干图像块；对每一图像块分别采用离散余弦变换将空域图像特征信息转化为频域频率特征信息，获得每一图像块对应的频域频率特征信息；根据图像块在视频帧中的位置，组合所有的频域频率特征信息，获得所述频域矩阵。5.如权利要求1所述的基于时空信息的面部疼痛表情分析方法，其特征在于，将采样视频的所有视频帧和对应的细节特征增强图组合并输入Transformer模型，包括：将所述采样视频的每一视频帧和对应的细...

【专利技术属性】
技术研发人员：叶欣婷，谢耀钦，梁晓坤，胡伽尼，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：