一种结合语义分割的室内实时摔倒检测算法制造技术

发明专利技术名称一种结合语义分割的室内实时摔倒检测算法摘要本发明专利技术公开了一种结合语义分割的室内实时摔倒检测算法，包括以下步骤：(1)图像预处理：对输入视频帧/图片使用Mosaic数据增强、自适应锚框、自适应图片收缩策略；(2)人体摔倒特征提取：将步骤(1)处理后的视频帧/图片输入到改进后的YOLOv7摔倒检测网络中，对图像进行特征提取及分类；(3)将步骤(2)中所检测后的结果，输入到自建的语义分割网络，将其室内场景信息分割为可摔倒区域(床、沙发)和非摔倒区域(地面)；(4)摔倒判断：根据目标检测网络和语义分割网络综合判断目标是否摔倒。该方法可以减少室内场景下因类摔倒行为而导致误判的问题，并且改进的YOLOv7摔倒检测网络的计算复杂度、精度、速度都优于原网络，更易部署到实际应用中。实际应用中。实际应用中。

【技术实现步骤摘要】
一种结合语义分割的室内实时摔倒检测算法


[0001]本专利技术涉及计算机视觉领域，具体为一种结合语义分割的室内实时摔倒检测算法。

技术介绍

[0002]有研究表明，摔倒已经成为了我国65岁以上老年人因伤致死的首位原因，并呈现逐年上升的趋势。由于老年人身体机能的衰退，很容易发生意外摔倒情况，而独居老人处于缺少甚至没有人看护的境地，若发生意外摔倒时，如果不能够及时就医，可能会导致终身残疾，甚至危及生命。因此，在老年人容易摔倒的地方部署用于摔倒检测的设施显得尤为重要。
[0003]目前，摔倒检测方法主要可以分为：基于可穿戴传感器的方法、基于环境部署的方法、基于计算机视觉的方法。以上方法中，基于可穿戴传感器的设备，老人佩戴时间过长可能会引起不适，或者忘记佩戴的可能；而基于环境部署的方法需要在特定场合部署，并且成本比较高；相比与前两种方法，基于计算机视觉的的摔倒检测方法具有对检测者实时进行监控、部署方便、成本低等优点。
[0004]现存的基于计算机视觉的摔倒检测算法大多分为两步：先对检测目标进行跟踪，再对目标的运动信息进行分析判定是否发生摔倒行为。这种方法虽然会减少误判率，但由于网络结构较复杂，所占用空间内存较多，很难部署到实际应用中；同时，目前所知的摔倒检测算法都很难辨别出摔倒行为和倒在床上休息、趴在沙发上看书这类类摔倒行为之间的区别。
[0005]为解决上述问题，本专利技术提出一种结合语义分割的室内实时摔倒检测算法，将YOLOv7中的标准卷积替换为分布偏移卷积，通过拆分的方式减少网络计算复杂度，实现轻量化网络；同时通过在高效聚合网络中引入轻量级全局上下文注意力机制来弥补分布偏移卷积带来的精度上的损失；并且设计了一个语义分割网络模型，用于将输入的场景信息分割成可摔倒区域(床、沙发)和非摔倒区域(地面)，通过计算目标框像素点与可摔倒区域像素点之间的IoU值来综合判断是否发生摔倒行为，以此来减少误判情况的发生。

技术实现思路

[0006]1、本专利技术的目的
[0007]鉴于已有技术存在的缺陷，本专利技术公开了一种结合语义分割的室内实时摔倒检测算法，其目的在于在不影响检测精度的同时，减少网络所占用的内存空间以及计算复杂度，使其易于部署到实际应用中，同时，减少在室内场景下由于某些类摔倒行为(倒在床上休息、趴在沙发上看书等)而导致误判的问题。
[0008]2、为了实现以上目的，本专利技术通过以下技术方案实现：
[0009]本专利技术提供的一种结合语义分割的室内实时摔倒检测算法，具体步骤包括：
[0010](1)图像预处理：对输入视频帧/图片使用Mosaic数据增强、自适应锚框、自适应图
片收缩策略；
[0011](2)人体摔倒特征提取：将步骤(1)处理后的视频帧/图片输入到改进后的YOLOv7摔倒检测网络中，对图像进行特征提取及分类，其中对YOLOv7的改进包括以下两点：
[0012](2
‑
1)将轻量级全局上下文注意力机制融入到YOLOv7网络的高效聚合模块ELAN层中，使其充分利用全局信息，加强对关键特征的权重，提高检测精度；
[0013](2
‑
2)将YOLOv7主干网络中的标准卷积层替换为分布偏移卷积，通过对标准卷积拆分的方式实现网络的轻量化，减少网络计算复杂度；
[0014](3)场景信息语义分割：将步骤(2)中所检测后的结果，输入到自建的语义分割网络，对其室内场景信息分割为可摔倒区域(床、沙发)和非摔倒区域(地面)；
[0015](4)摔倒判断：根据目标检测网络和语义分割网络综合判断目标是否摔倒，摔倒判决算法包括以下步骤：1)从步骤(2)中输出第一次摔倒判断结果，若检测目标无摔倒则直接输出无摔倒结果；2)若第一次判断结果为摔倒，则计算目标框像素点位置信息与步骤(3)中分割的可摔倒区域像素位置之间的IoU值，大于所设定阈值则判定为疑似摔倒行为，否则判定为摔倒。
[0016]优选的：所述步骤(1)图像预处理包括如下过程：
[0017]首先，将一张选定的图片和随机的3张图片进行随机裁剪，在拼接到一张图上作为训练数据；其次，将锚框尺寸的计算嵌入到模型训练过程中，使模型能自动计算最佳锚框；最后，根据原始图片大小以及输入到网络的图片大小计算缩放比例，然后根据原始图片大小与缩放比例计算缩放后的图片大小，算出黑边填充数值。
[0018]优选的：所述步骤(2)中改进的YOLOv7摔倒检测网络的具体结构包括：输入层、特征提取层、特征融合层、输出层；
[0019]输入层通过图像预处理将图片处理为(640,640,3)的大小；
[0020]特征提取层包括：预处理后的图片首先经过(DSConv+BN+SiLU)层
×
4后尺寸变为(160,160,128)，然后经过GC_ELAN层对全局特征进行提取，之后接入(MPConv+GC_ELAN)层
×
3后，分别输出三组大小为(80,80,512)、(40,40,1024)、(20,20,1024)的特征图，依次为A3、A4、A5；
[0021]特征融合层包括两个步骤：1)自底向上的特征融合：A5通过SPPCSPC模块后通道数缩减为512，通过(DSConv+BN+SiLU)层
×
1后进入Upsample层与A4相融合得到B4特征图，再通过一层ELAN层和Upsample层后与A3相融合得到B3特征图；2)自顶向下的特征融合：B3通过一层ELAN层和MPConv层后与B4层相融合得到C4特征图，再通过一层ELAN层和MPConv层后与A5层相融合得到C5特征图，同时B3经过一层ELAN输出C3特征图；最后特征融合分别输出三组大小为(80,80,256)、(40,40,512)、(20,20,1024)，依次是C3、C4、C5；
[0022]输出层分别将C3、C4、C5特征图输入到RepConv层调整通道数，最后经过一层卷积对Objiectness、Class、Bbox三部分进行预测。
[0023]优选的：所述步骤(2
‑
1)中将轻量级全局上下文注意力机制融入到YOLOv7摔倒检测网络的具体实现方法为：将GC注意力机制融入到YOLOv7的高效聚合模块ELAN中，先对ELAN中的Concat传入的每层特征通过(1*1)卷积和Softmax层获得注意力权值，然后进行注意力池化得到全局上下文特征，通过(1*1)卷积得到特征变换，最后将GC模块的输出传送到ELAN中Concat的连接层，即利用加法将全局上下文特征聚合到每个位置的特征上。
[0024]优选的：所述步骤(2
‑
2)将YOLOv7主干网络中的标准卷积层替换为分布偏移卷积的具体实现方法为：将YOLOv7特征提取层中的前四层标准卷积替换为分布偏移卷积，并在特征提取层输出的A3、A4、A5特征图后分别加入一层分布偏移卷积。
[0025]优选的：所述步骤(2)中改进的YOLOv7算法所用到的实验融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合语义分割的室内实时摔倒检测算法，其特征在于：所述方法主要通过以下步骤实现：(1)图像预处理：对输入视频帧/图片使用Mosaic数据增强、自适应锚框、自适应图片收缩策略；(2)人体摔倒特征提取：将步骤(1)处理后的视频帧/图片输入到改进后的YOLOv7摔倒检测网络中，对图像进行特征提取及分类，其中对YOLOv7的改进包括以下两点：(2
‑
1)将轻量级全局上下文注意力机制融入到YOLOv7网络的高效聚合模块ELAN层中，使其充分利用全局信息，加强对关键特征的权重，提高检测精度；(2
‑
2)将YOLOv7主干网络中的标准卷积层替换为分布偏移卷积，通过对标准卷积拆分的方式实现网络的轻量化，减少网络计算复杂度；(3)场景信息语义分割：将步骤(2)中所检测后的结果，输入到自建的语义分割网络中，对其室内场景信息进行分割，其中将床、沙发分割为可摔倒区域，地面区域分割为非摔倒区域；(4)摔倒判断：根据目标检测网络和语义分割网络综合判断目标是否摔倒，摔倒判决算法包括以下步骤：1)从步骤(2)中输出第一次摔倒判断结果，若检测目标无摔倒则直接输出无摔倒结果；2)若第一次判断结果为摔倒，则计算目标框像素点位置信息与步骤(3)中分割的可摔倒区域像素位置之间的IoU值，大于所设定阈值则判定为疑似摔倒行为，否则判定为摔倒。2.根据权利要求1中所述的一种结合语义分割的室内实时摔倒检测算法，其特征在于：所述步骤(1)图像预处理，首先，将一张选定的图片和随机的3张图片进行随机裁剪，再接到一张图上作为训练数据；其次，将锚框尺寸的计算嵌入到模型训练过程中，使模型能自动计算最佳锚框；最后，根据原始图片大小以及输入到网络的图片大小计算缩放比例，然后根据原始图片大小与缩放比例计算缩放后的图片大小，再算出黑边填充数值。3.根据权利要求1中所述的一种结合语义分割的室内实时摔倒检测算法，其特征在于：所述步骤(2)中改进的YOLOv7摔倒检测网络的具体结构包括：输入层、特征提取层、特征融合层、输出层；输入层通过图像预处理将图片处理为(640,640,3)的大小；特征提取层包括：预处理后的图片首先经过(DSConv+BN+SiLU)层
×
4后尺寸变为(160,160,128)，然后经过GC_ELAN层对全局特征进行提取，之后接入(MPConv+GC_ELAN)层
×
3后，分别输出三组大小为(80,80,512)、(40,40,1024)、(20,20,1024)的特征图，依次为A3、A4、A5；特征融合层包括两个步骤：1)自底向上的特征融合：A5通过SPPCSPC模块后通道数缩减为512，通过(DSConv+BN+SiLU)
×
1后进入Upsample层与A4相融合得到B4特征图，再通过一层ELAN层和Upsample层后与A3相融合得到B3特征图；2)自顶向下的特征融合：B3通过一层ELAN层和MPConv层后与B4层相融合得到C4特征图，再通过一层ELAN层和MPConv层后与A5层相融合得到C5特征图，同时B3经过一层ELAN输出C3特征图；最后特征融合分别输出三组大小为(80,80,256)、(40,40,512)、(20,20,1024)，依次是C3、C4、C5；输出层分别将C3、C4、C5特征图输入到RepConv层调整通道数，最后经过一层卷积对Objiectness、Class、Bbox三部分进行预测。
4.根据权利要求1中...

【专利技术属性】
技术研发人员：薛楠，王宁，王鹏，卢迪，王鑫磊，
申请(专利权)人：常州工学院，
类型：发明
国别省市：