一种基于多窗口滑动Transformer与循环神经网络的睡眠行为检测方法技术

本发明专利技术涉及一种基于多窗口滑动Transformer与循环神经网络的睡眠行为检测方法，包括：将实时的监控画面送入训练好的网络模型中，训练好的网络模型对监控画面进行降维、分帧处理，并对降维、分帧处理后的监控画面中被检测者进行睡眠行为识别，判断其在睡觉期间的睡眠行为。本发明专利技术在窗口与窗口之间建立有效的连接，充分解决了由于上一次窗口划分导致的重要特征被切割而不能有效提取空间特征的问题。本发明专利技术将Transformer与GRU结合，相较于Video Swin Transformer结构，本发明专利技术在保证准确率的前提下实现了更小的计算量与更高的计算效率，大大减小了模型对于硬件的需求。大大减小了模型对于硬件的需求。大大减小了模型对于硬件的需求。

【技术实现步骤摘要】
一种基于多窗口滑动Transformer与循环神经网络的睡眠行为检测方法


[0001]本专利技术涉及一种基于多窗口滑动Transformer与循环神经网络GRU(Gated Recurrent Unit)的睡眠行为检测方法，属于人工智能、行为识别领域。

技术介绍

[0002]失眠是一个常见的公共卫生问题，也是一个开放的生物医学研究课题。失眠会导致各种健康问题，包括记忆力下降，注意力下降，情绪低落，削弱人们解决问题的能力和意愿，严重者使人精神萎靡，发生抑郁倾向。睡眠不足还会降低身体的抵抗力，容易使人遭受病毒及细菌的侵袭。现阶段，快速紧张的工作及生活节奏，使得人们白天面对繁忙的工作和家庭任务，思想压力大，愤懑及压抑的情绪难以释放。一方面，为了释放压力，人们在晚上休息时往往沉迷于手机娱乐，有效睡眠时间大幅减少，不利于身体各部位的休息和功能恢复。另一方面，精神压力过大或身体疾病原因，使得人们难以进入良好的睡眠状态，在床上辗转反侧，难以缓解身体的疲惫。长时间睡眠质量不好，导致精神状态不佳及抵抗力降低，容易诱发身体疾病，损害生活及工作的积极性。特别地，对于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多窗口滑动Transformer与循环神经网络的睡眠行为检测方法，其特征在于，包括：将实时的监控画面送入训练好的网络模型中，训练好的网络模型对监控画面进行降维、分帧处理，并对降维、分帧处理后的监控画面中被检测者进行睡眠行为识别，判断其在睡觉期间的睡眠行为；进一步优选的，睡眠行为包括翻身、起夜、坠床、看手机、正常睡眠。2.根据权利要求1所述的一种基于多窗口动Transformer与循环神经网络的睡眠行为检测方法，其特征在于，训练好的网络模型包括Transformer Network和循环神经网络GRU；通过Transformer Network对所截取的一段视频中所包含的图像帧提取空间特征，得到特征图，再将特征图送入循环神经网络GRU中提取时序特征。3.根据权利要求1所述的一种基于多窗口滑动Transformer与循环神经网络的睡眠行为检测方法，其特征在于，Transformer Network包括图片预处理部分Patch Partition、Linear Embedding层、Patch Merging以及SWF
‑
Transformer Block；所述Patch Partition将图片的最小单位从像素转变为patch；所述Linear Embedding层用于将输入图像投射到任意维度C；所述Patch Merging层进行下采样，通过下采样操作增加感受野并实现层级式的特征提取；所述滑动窗口计算自注意力权重模块SWF
‑
Transformer Block为滑动窗口计算自注意力权重；进一步优选的，Transformer Network包括依次连接的图片预处理部分Patch Partition、Linear Embedding层、第一SWF
‑
Transformer Block、第一Patch Merging、第二SWF
‑
Transformer Block、第二Patch Merging、第三SWF
‑
Transformer Block、第三Patch Merging、第四SWF
‑
Transformer Block、第四Patch Merging、第五SWF
‑
Transformer Block。4.根据权利要求1所述的一种基于多窗口滑动Transformer与循环神经网络的睡眠行为检测方法，其特征在于，所述SWF
‑
Transformer Block包括若干个由MSA块和MLP块组成的交替层；在每个区块之前应用LN层，在每个区块之后应用残差连接；如式(I)、式(II)所示：式(II)所示：式(I)、式(II)中，z
k
表示SWF
‑
Transformer Block的输入，表示SWF
‑
Transformer Block的输出，LN(z
k
)表示输入z
k
经过了LN层，MSA(LN(z
k
))表示LN(z
k
)输出经过了MSA，k表示SWF
‑
Transformer Block为整个网络结构中第k个。5.根据权利要求1所述的一种基于多窗口滑动Transformer与循环神经网络的睡眠行为检测方法，其特征在于，所述SWF
‑
Transformer Block为串行连接；串行连接是指依次进行窗口划分并计算空间自注意力权重，由上一个交替层的输出当作下一个交替层的输入。6.根据权利要求1所述的一种基于多窗口滑动Transformer与循环神经网络的睡眠行为检测方法，其特征在于，所述SWF
‑
Transformer Block为并行连接；并行连接是指对输入的特征图同时进行四种窗口划分并计算空间自注意力权重；
四种窗口划分的方式为重叠式的滑动方式；移动的窗口桥接前一层窗口，在它们之间提供连接；进一步优选的，四种窗口划分的方式包括四种形态，窗口初始状态为将特征图均等分为四个4
×
4正方形；第二种状态由窗口初始状态中左上角正方形窗口向左移动两格得到；第三种状态由窗口初始状态中左上角正方形窗口向下移动两格得到；第四种状态由第三种状态中正方形窗口向左移动两格得到；计算空间自注意力权重是指窗口中每个patch与其它patch之间计算注意力机制，通过Q、K、V即query向量、key向量和value向量计算得到，包括：(1)基于输入向量创建三个向量：query向量、key向量和value向量；(2)通过query向量和key向量产生自注意力权重；(3)与value向量相乘得到当前patch与其余patch的匹配权值结果；进一步优选的，设定网络模型包括n个SWF
‑
TransformerBlock，每个SWF
‑
TransformerBlock包括m个MSA块，Query、Key、Value值Q
n
、K...

【专利技术属性】
技术研发人员：翟超，郭瑞，郑丽娜，李玉军，雷良健，
申请(专利权)人：山东大学，
类型：发明
国别省市：