【技术实现步骤摘要】
基于时序注意力的在线手卫生评估方法及系统
[0001]本专利技术涉及深度学习领域，具体涉及基于时序注意力的在线手卫生评估方法及系统。
技术介绍
[0002]手卫生评估是一项重要的预防措施，是降低疾病传播潜在风险的重要任务。一个标准的手卫生视频包含六个洗手动作，但每两个洗手动作之间可能会夹杂着背景动作，这很容易干扰洗手动作的评估性能。与短时序的跳水动作相比，洗手动作持续的时间更长，并且包含了更多的细节，这使得手部卫生评估的任务更具挑战性。
[0003]现有的手卫生评估方法大多是对提取好的视频特征直接进行评估。现有技术一：Zhong等,Designing a Computer
‑
Vision Application:A Case Study for Hand
‑
Hygiene Assessment in an Open
‑
Room Environment.《Journal of Imaging》,2021,7(9):170.应用迭代工程的流程来设计手部卫生行为检测系统...
【技术保护点】
【技术特征摘要】
1.基于时序注意力的在线手卫生评估方法，其特征在于，所述方法包括：步骤a：获取在线洗手视频流，通过编码器和解码器分别建模各类时序特征；步骤b：使用时序注意力来增强和融合各类时序特征，得到融合特征；步骤c：对融合特征进行动作分类并对初始特征进行分割，得到各个洗手动作的时序特征及其对应的动作类别，作为动作特征；步骤d：将动作特征通过第一全局最大池化层进行汇集得到根特征，由两个不同的第一全连接层线性映射到两个子特征中，后续各层特征的处理方法相同，最后使用MLP对最后一层的所有特征进行回归，得到每个洗手动作的得分，将当前视频流中的各个洗手动作得分相加得到最终的预测得分。2.根据权利要求1所述的基于时序注意力的在线手卫生评估方法，其特征在于，所述步骤a之前还包括：对在线洗手视频流提取224
×
224可见光视频帧以及224
×
224光流帧，然后输入到预训练好的I3D网络中，通过特征提取得到1024维的可见光特征和光流特征，之后将这两个模态特征在通道维度上进行连接，得到2048维的初始特征。3.根据权利要求1所述的基于时序注意力的在线手卫生评估方法，其特征在于，所述步骤a包括：从初始特征中提取第一预设长度的特征作为长期特征F
long
，从初始特征中提取第二预设长度的特征作为长期特征F
short
，第一预设长度大于第二预设长度，通过编码器和解码器分别建模各类时序特征的公式如下{F0，F2}＝Encoder(F
long
)F1＝Decoder(F
short
，F0，F0)F3＝Decoder(Q，F0，F0)其中，Encoder表示编码器，F0表示长期历史特征，F2表示类别历史特征，F1表示短期当前特征，Decoder表示解码器，F3表示短期未来特征，Q表示可学习特征。4.根据权利要求3所述的基于时序注意力的在线手卫生评估方法，其特征在于，所述步骤b包括：短期当前特征F1、类别历史特征F2和短期未来特征F3均输入到相同结构的注意力模块中，利用注意力机制在空间和通道上进行特征增强，之后进行传递连接实现渐进式交互，最后在通道维度上将三者连接起来得到融合特征F
m
。5.根据权利要求4所述的基于时序注意力的在线手卫生评估方法，其特征在于，所述步骤b还包括：构建以下公式得到融合特征F
m
F
′
i
＝Attention(F
i
))其中，i∈{1，2，3}，Attention代表注意力模块，AP为第一平均池化层，Concat表示连接。
6.根据权利要求4所述的基于时序注意力的在线手卫生评估方法，其特征在于，所述注意力模块包括第二全局池化层、第二平均池化层、第二全连接层至第六全连接层、第一激活层至第三激活层，第二全局池化层通过第二全连接层与第一激活层连接，第二平均池化层通过第三全连接层与第二激活层连接...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。