【技术实现步骤摘要】
一种基于自注意力双流网络的跌倒检测方法
[0001]本专利技术属于行为识别
，具体涉及一种基于双流卷积实时跌倒检测及跟踪方法。
技术介绍
[0002]随着社会的不断进步，人工智能在人们的生活中变得越来越广泛。而人工智能相关技术对于人们的生活也起着越来越重要的作用，行为识别技术作为人工智能技术中的一种技术，在视频中对行人行为进行分析具有十分重要的作用。对于一些出现的危险的行为动作，可以使用相关的行为识别算法对视频进行处理，同时进行预警。就可以对危险区域的行为进行及时处理。
[0003]在行为识别领域中，目前较为流行的算法有基于可穿戴设备的、基于姿态估计、基于计算机视觉的。对于可穿戴设备方法，虽然具有简洁方便等优点，但是对于一些老人而言会存在一些问题，可能或造成舒适性问题，甚至可能会存在忘记佩戴的情况。对于姿态估计算法，由于在使用算法处理时存在多个关节点的计算，对于实时性有一定的降低。
[0004]在目前的基于视频检测的跌倒检测方面，发展还不是很成熟，虽然有许多的公开数据集可以使用，但是这些数据集对于实际应...
【技术保护点】
【技术特征摘要】
1.一种基于自注意力双流网络的跌倒检测方法，其特征在于，它包括以下步骤：步骤1：采集人行为动作的图像数据，形成行为动作的样本数据集；步骤2：构建自注意力双流网络，用于行为动作的检测；步骤3：采用平衡简单易分样本操控焦点损失函数，优化自注意力双流网络；步骤4：利用样本数据集对自注意力双流网络进行训练、测试，使之达到检测精度；步骤5：采集人的实时图像，输入训练好的自注意力双流网络，检测是否有跌倒行为。2.根据权利要求1所述的方法，其特征在于，在步骤1中，人的行为动作分类包括跌倒、跑步、跳跃、行走、站立、躺；在步骤1中，将样本数据集按比例划分成训练集和测试集。3.根据权利要求1所述的方法，其特征在于，在步骤2中，所构建的自注意力双流网络的骨干网络分为两个分支，第一个分支包括Darknet19神经网络，第二个分支包括S3D神经网络，具体结构为：输入层
→
Darknet19神经网络
→
自注意力模型；输入层
→
S3D神经网络
→
自注意力模型；自注意力模型将第一个分支以及第二个分支中网络的输出作为输入，使用通道融合将信息在通道上进行融合，通过注意力机制得到注意力特征图，最后通过一层卷积进行输出以获得输出层。4.根据权利要求3所述的方法，其特征在于，在步骤2中，S3D神经网络的结构为：依次连接卷积、池化、卷积、卷积、池化，然后依次连接两个Inception1 Block和一层最大池化层，之后连接5个Inception1 Block和一个最大池化层，最后连接两个Inception2 Block。5.根据权利要求4所述的方法，其特征在于，S3D神经网络在使用时，它首先获取一个时序的视频帧，然后通过卷积、池化、卷积、卷积、池化得到时序上的浅层信息，再通过多个Inception1 Block提取更加深层的特征信息，接着采取池化层将特征数量降低，用来降低合并后特征图的尺寸，以便发送到下一个Inception1 Block，在经过多个Inception1 Block之后，再通过多个Inception2 Block。6.根据权利要求4所述的方法，其特征在于，Inception1 Block的具体结构为：它共有四个分支，第一个分支仅包含一个卷积核，在时序上进行操作；第二、三各分支则先在空间位置进行降维，然后在时序上进行降维；第四个分支则先在空间维度上实施了一次最大池化，然后在时序上进行处理，通过多个分支可以提取到视频中更加丰富的特征信息。7.根据权利要求3所述的方法，其特征在于，在步骤2中，Darknet19神经网络的结构为依次连接2D卷积、池化、2D卷积、池化、Block1、池化、Block1、池化、Block2、池化、Block2、2D卷积；其中，Block1、Block2均为多层卷积结构。8.根据权利要求3至7其中之一所述的方法，其特征在于，自注意力模型在使用时，首先得到2D和3D网络融合特征图A且A∈R
(c
’
+c”)
×
H
×
W
，融合之后得到B且B∈R
c
×
H
×
W
,令B＝[v1,v2,...,v
c
]，N＝H
×
W，然后对B进...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。