一种面向危重症儿童的疼痛表情数据集的构建与验证方法技术

本发明专利技术提供一种面向危重症儿童的疼痛表情数据集的构建与验证方法，通过构建面向危重症儿童的疼痛表情数据集，基于Swin Transformer的儿童面部表情评估算法，对上述数据集进行验证，算法模型在PECIC数据集训练的各项测试性能进行进行评估，得到疼痛等级的评估性能结果。本申请的面向危重症儿童的疼痛表情数据集的构建与验证方法构建的PECIC数据集具有多样性、权威性、科学性和合理性，建立的PECIC数据集在危重症儿童疼痛表情分析上具有更好的可用性和准确性。更好的可用性和准确性。更好的可用性和准确性。

【技术实现步骤摘要】
Ill Children,PECIC)，通过监控摄像机采集儿童疼痛表情视频数据，根据疼痛维度内容对视频图像进行标注，视频数据标注完成后，对挑选出来的视频片段数据进行逐帧处理，自动标注面部紧张程度等级，选定初始相邻帧F1和F2，利用帧间差异法计算两帧图像差异，如果帧间差异小于给定阈值ε，表示儿童面部表情变化较小，舍弃F2帧，计算F1和F3的差异，直至帧间差异大于阈值ε或至视频最后一帧图像，如果帧间差异值大于阈值ε，表示儿童面部表情有明显变化，将该帧作为有效数据纳入PECIC数据集，最终形成PECIC数据集；
[0008]S2，基于Swin Transformer的儿童面部表情评估算法，对上述数据集进行验证，首先将输入图像(H
×
W
×
3)通过标记分割成相同大小的图像块，将图像块依次进行四个阶段的处理，第一阶段包括线性嵌入层和Swin Transformer Block，其余三个阶段由标记合并块和Swin Transformer Block构成；所述Swin Transformer Block由窗口多头自注意力机制(Window Multi
‑
head Self Attention，W
‑
MSA)、滑动窗口多头自注意力机制(Shifted
‑
Window Multi
‑
Head Self
‑
Attention，SW
‑
MSA)、多层感知机(Multilayer Perceptron,MLP)和标准化层(Layer Normalization,LN)交替组成，其计算过程为：
[0009][0010]模块中的W
‑
MSA层利用常规窗口划分策略从左上角划分，包括窗口分割(Window Partition,WP)模块、窗口重组(Window Reversw,WR)模块和MSA模块，其中窗口分割(WP)模块将输入特征图分割为多个M
×
M相邻像素的互不重叠窗口；窗口重组(WR)模块负责将每个独立窗口的Multi
‑
head自注意力特征还原拼接为完整的Multi
‑
head自注意力特征图；MSA模块将每个独立窗口进行Multi
‑
head的缩放点积注意力计算，首先对每个独立窗口的图块向量在通道维度进行线性变换，使通道数倍增，同时在特征维度上分割为h(注意力head个数)个子空间，通过h个参数矩阵W
Q
、W
K
、W
V
子空间对每个像素查询Q(Query)、键K(Key)和权重V(Value)进行线性变换，并进行缩放点积注意力计算；结果通过可学习权重矩阵W
O
进行拼接融合，联合不同子空间的特征信息得到Multi
‑
head自注意力特征；其中，第i个注意力头的缩放点积注意力计算为：
[0011]head
i
＝Attention(QW
iQ
,KW
iK
,VW
iV
) (2)
[0012]其中，W
iQ
、W
iK
、W
iV
分别表示第i个参数矩阵W
Q
、W
K
、W
V
，Attention()为归一化的缩放点积模型，数学表达为：
[0013][0014]其中，QK
T
通过点积计算不同特征的相似度，除以进行缩放操作以保证梯度稳定性，在每个head
i
中添加可学习的相对位置编码Multi
‑
head自注意力特征的拼接融合为：
[0015]MultiHead(Q,K,V)＝Concat(head1,head2,...,head
h
)W
O (4)
[0016]S3，对上述算法模型在PECIC数据集训练的各项测试性能进行进行评估，得到疼痛等级的评估结果。
[0017]进一步地，在所述步骤S1中，面部数据采集是采用监控摄像机和固定支架，摄像机架设在床头正上方，镜头垂直向下正对患儿面部，面部角度限定在30度以内，面部占整个画面≥1/2。
[0018]进一步地，在所述步骤S1中，对采集的视频片段的图像进行相应等级标注，共设置五个等级的面部表情，分别为Leve1面部肌肉完全放松，Leve2面部肌肉张力正常、无面部肌肉紧张，Leve3面部部分肌肉张力增加，Leve4面部全部肌肉张力增加，Leve5面部扭曲、表情痛苦。
[0019]进一步地，所述步骤S3中，通过采用准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1
‑
Score、假阳率(False Positive Rate,FPR)对深度学习模型的性能进行评估；
[0020]准确率是分类正确的样本占总样本个数的比例，计算公式为：
[0021][0022]精确率指模型预测为正的样本中实际也为正的样本占被预测为正的样本的比例，计算公式为：
[0023][0024]召回率指实际为正的样本中被预测为正的样本所占实际为正的样本的比例，计算公式为：F1
‑
score是精确率和召回率的调和平均值，计算公式为：
[0025][0027]FPR假阳率，即预测错的负样本占全体负样本的比例，计算公式为：
[0028][0029]专利技术作用与效果
[0030]1、本申请的面向危重症儿童的疼痛表情数据集的构建与验证方法构建的PECIC数据集具有多样性、权威性、科学性和合理性，建立的PECIC数据集在危重症儿童疼痛表情分析上具有更好的可用性和准确性。
[0031]2、视频采集源于真实临床危重症儿童病例和真实的临床操作，评估结果更具有代表性和客观性。
[0032]3、PECIC涵盖危重症儿童所有年龄阶段的疼痛表情数据集，填补了专门类别下疼痛表情数据集空白。
[0033]4、PECIC在数量上超过了目前可见文献提及的所有数据集规模，能更好的支撑当前先进的深度学习算法训练以取得更优的识别性能。
附图说明
[0034]图1是本专利技术Swin Transformer_base网络结构图；
[0035]图2是Swin TransformerBlock处理过程示意图；
[0036]图3是PECIC数据集中五种面部表情等级样例图像；
[0037]图4为儿童面部表情等级评估流程示例图；
[0038]图5是混淆矩阵图；
[0039]图6是两种数据集各项指标对比柱状图。
具体实施方式
[0040]为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本专利技术的一种面向危重症儿童的疼痛表情数据集的构建与验证方法作具体阐述。
[0041]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向危重症儿童的疼痛表情数据集的构建与验证方法，其特征在于，包括以下步骤：S1，构建面向危重症儿童的疼痛表情数据集(Pain Expression of Critically Ill Children,PECIC)，通过监控摄像机采集儿童疼痛表情视频数据，根据疼痛维度内容对视频图像进行标注，视频数据标注完成后，对挑选出来的视频片段数据进行逐帧处理，自动标注面部紧张程度等级，选定初始相邻帧F1和F2，利用帧间差异法计算两帧图像差异，如果帧间差异小于给定阈值ε，表示儿童面部表情变化较小，舍弃F2帧，计算F1和F3的差异，直至帧间差异大于阈值ε或至视频最后一帧图像，如果帧间差异值大于阈值ε，表示儿童面部表情有明显变化，将该帧作为有效数据纳入PECIC数据集，最终形成PECIC数据集；S2，基于Swin Transformer的儿童面部表情评估算法，对上述数据集进行验证，首先将输入图像(H
×
W
×
3)通过标记分割成相同大小的图像块，将图像块依次进行四个阶段的处理，第一阶段包括线性嵌入层和Swin Transformer Block，其余三个阶段由标记合并块和Swin Transformer Block构成；所述Swin Transformer Block由窗口多头自注意力机制(Window Multi
‑
head Self Attention，W
‑
MSA)、滑动窗口多头自注意力机制(Shifted
‑
Window Multi
‑
Head Self
‑
Attention，SW
‑
MSA)、多层感知机(Multilayer Perceptron,MLP)和标准化层(Layer Normalization,LN)交替组成，其计算过程为：模块中的W
‑
MSA层利用常规窗口划分策略从左上角划分，包括窗口分割(Window Partition,WP)模块、窗口重组(Window Reversw,WR)模块和MSA模块，其中窗口分割(WP)模块将输入特征图分割为多个M
×
M相邻像素的互不重叠窗口；窗口重组(WR)模块负责将每个独立窗口的Multi
‑
head自注意力特征还原拼接为完整的Multi
‑
head自注意力特征图；MSA模块将每个独立窗口进行Multi
‑
head的缩放点积注意力计算，首先对每个独立窗口的图块向量在通道维度进行线性变换，使通道数倍增，同时在特征维度上分割为h(注意力head个数)个子空间，通过h个参数矩阵W
Q
、W
K
、W
V
子空间对每个像素查询Q(Query)、键K(...

【专利技术属性】
技术研发人员：冯瑞，张晓波，顾莺，傅唯佳，王颖雯，蒋龙泉，吴梦琦，王桢絮，
申请(专利权)人：复旦大学附属儿科医院，
类型：发明
国别省市：