一种基于视觉变化分析的病人躁动行为识别方法技术

本发明专利技术公开了一种基于视觉变化分析的病人躁动行为识别方法，该方法利用视觉‑文本模型的视觉编码器网络V并行提取视频抽帧的图像特征，然后利用相似度函数D计算相邻帧之间的变化图，进而得到该时间内整体的变化图C，然后将该变化图作为注意力加权视频帧的特征图，并通过时序融合网络A聚合各帧特征得到视频整体表征Z。表征Z经由线性层分类网络H得到躁动类别预测概率并计算分类损失L1。同时利用视觉‑文本模型的文本编码器T将对应的文本描述转换为文本表征t，视频表征与文本表征之间计算距离损失L2，使得模型可以利用文本来丰富学习的视觉特征。本发明专利技术可以完成病人躁动行为识别，将提高不同环境的泛化性以及躁动行为识别的准确性。

【技术实现步骤摘要】

本专利技术属于计算机视觉与模式识别领域，特别涉及一种基于视觉变化分析的病人躁动行为识别方法。

技术介绍

1、近年来，随着城市不断推动数字赋能改革，目标行为的监控和预警可以有效降低可能存在的危险行为发生，为此基于视频的动作识别技术逐渐受到广泛关注。视频动作识别主要通过分析连续视频帧之间的目标变化或运动信息来推断其正在进行的逻辑动作。为此，利用视频采集接口获取特定场景的视频数据，然后利用视频动作识别技术进行相关动作识别是推动智慧护理、智能安防等领域发展的重要技术之一。然而，目前已有的视频动作识别技术主要集中在公开的数据集进行实验并取得了不错的性能提升。但是已有模型训练所需的数据集大小是日常应用难以企及的规模，且现实场景中数据分布与公开数据集可能存在较大差异，动作类别特点也差异较大，这给视频动作识别技术带来了一定的现实挑战。当前主流的深度学习方法普遍在于设计时空关系建模的网络模块，利用大规模的数据进行隐式的视频表征学习，而这在实际只有少量数据的应用场景是难以训练的。

2、目前大多数算法都是按照公开视频动作识别数据集进行端到端的从头训练。一方面视频动作本文档来自技高网...

【技术保护点】

1.一种基于视觉变化分析的病人躁动行为识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于视觉变化分析的病人躁动行为识别方法，其特征在于，所述步骤(1)的间隔抽样为密集采样或稀疏采样。

3.根据权利要求1所述的基于视觉变化分析的病人躁动行为识别方法，其特征在于，所述的步骤(2)中利用预训练视觉编码器V分别提取视频Ii中每一帧图像特征，并计算前后帧之间的变化图，其计算表达式如下：

4.根据权利要求1所述的基于视觉变化分析的病人躁动行为识别方法，其特征在于，所述的步骤(2)中计算分类损失L1的表达式如下：

5.根据权利要求1所述的...

【技术特征摘要】

1.一种基于视觉变化分析的病人躁动行为识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于视觉变化分析的病人躁动行为识别方法，其特征在于，所述步骤(1)的间隔抽样为密集采样或稀疏采样。

3.根据权利要求1所述的基于视觉变化分析的病人躁动行为识别方法，其特征在于，所述的步骤(2)中利用预训练视觉编码器v分别提取视频ii中每一帧图像特征，并计算前后...

【专利技术属性】
技术研发人员：金军灿，于慧敏，
申请(专利权)人：浙江大学，
类型：发明
国别省市：