【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及基于深度强化学习的行人跌倒检测方法、系统及电子设备。
技术介绍
1、人口老龄化是一个当今世界问题，受到国际社会对日益关注。意外跌倒是威胁老年人健康的最危险意外事故之一，跌倒的定义是“因疏忽意外导致身体接触到地面、地板或者其他较低的位置”。老年人跌倒会导致扭伤、擦伤等轻伤，还可能导致致命性伤害，如骨折、脑出血等，增加家庭的经济负担，影响老年人的生存质量。为了减轻老年人跌倒造成的伤害与后果，准确检测老年人跌倒并及时救治跌倒老人变得越来越重要。
2、国内外学者提出了众多跌倒检测方法。vishwakarma等为了对老年人出现跌倒等突发异常行为做出及时处理，专门提出了一种算法避免对老年人身体造成伤害。首先通过将人体围成近似椭圆形状，再根据椭圆方向发生的变化来对异常行为进行检测，然后将关键特征提取出来在knn分类器中对跌倒等异常行为分类。min等提出一种基于深度学习和活动特征的场景分析来检测家具上的人体跌倒的新方法，采用faster r-cnn算法对人体进行检测，并结合人体形状纵横比、质心、运动速度等运动特征判断人体是否跌倒。虽然该方法检测精度较高，但实时性很差。wu等借助目标检测方法获取人体最小外接矩形，然后将矩形的宽高比与预先设定的阈值比较，判断是否出现跌倒。马露等对fssd算法进行改进，通过移除部分卷积层和重新调整融合方式对跌倒异常行为进行检测，取得了不错的检测效果。罗智源提出了基于强化学习的视频异常事件检测模型，该方法利用了前面多帧的特征信息，但只是对一帧图像进行判别，并不是对每个行人进行判
3、由此可见，这些方法一般没有使用跟踪对每个行人目标连续多帧提取特征，大部分算法是对当前帧进行处理并判别是否处于跌倒异常行为状态，没有利用前面多帧的目标状态信息，复杂背景下检测率不高，而且对正常躺倒、趴下等与意外跌倒不易区分。
技术实现思路
1、针对当前深度学习算法对跌倒异常行为检测准确率不高和实时性不强，以及正常躺倒、趴下与意外跌倒区分问题，本专利技术提供一种基于深度强化学习的行人跌倒检测方法、系统及电子设备，用以解决利用每个行人目标的多帧特征信息，判别每个行人目标是否跌倒。
2、根据本专利技术的第一方面，本专利技术提供基于深度强化学习的行人跌倒检测方法，包括以下步骤：
3、步骤100：采用目标检测算法对视频图像进行检测，获得行人位置信息和行人姿态类别信息；
4、步骤200：利用deepsort算法对所述行人位置信息和行人姿态类别信息进行跟踪，得到行人运动轨迹；
5、步骤300：对所述行人运动轨迹进行行人姿态类别信息提取，将所述行人姿态类别信息送入强化学习网络进行异常跌倒判别，确定行人是否处于异常跌倒状态。
6、在上述技术方案的基础上，本专利技术还可以作出如下改进。
7、可选的，所述目标检测算法采用yolo、fasterrcnn、ssd算法对当前输入的图像帧进行行人目标检测，将检测到的行人行为姿势类别分为多类，分别为坐、立、走、跑、跳、蹲、仰卧、侧卧、俯卧、推、拉、打、前倾、侧倾、后倾、跨、弯腰、伸展。
8、可选的，获得行人位置信息和行人姿态类别信息包括：设行人目标状态集合为：
9、
10、其中，表示所述图像帧ft中第i个目标检测框的状态；(xi,yi)表示该目标检测框在ft中的中心点；wi、hi表示该目标检测框的宽和高；n表示图像帧数；m表示ft中检测到的目标总数；表示该目标姿态类别，k为类别数量；表示轨迹编号，由跟踪结果得到。
11、可选的，所述利用deepsort算法对所述行人位置信息和行人姿态类别信息进行跟踪，得到行人运动轨迹包括:
12、首先，使用目标检测算法在每一帧中检测出目标物体的位置和边界框；
13、然后，通过深度学习模型提取目标的特征表示，将每个目标与先前帧中已跟踪的目标进行匹配确定轨迹，并通过cnn网络进行类别再确定。
14、可选的，将transformer网络作为深度强化学习网络，将状态值输入到transformer网络中，利用网络自注意力机制获取输入序列中每个位置的信息，结合视频帧上下文的信息，输出两个维度的值，第一个维度看成未跌倒动作，第二个维度看成跌倒动作，选取最大值对应的维度去代表下一帧应该进行的动作。
15、可选的，所述将所述行人姿态类别信息送入强化学习网络进行异常跌倒判别，确定行人是否处于异常跌倒状态包括：
16、将每个目标的连续10帧状态输入到强化学习网络中；网络中进行决策的动作由两个类型组成：待测视频帧为非跌倒表示0或者待测视频帧为跌倒表示1；
17、取一条轨迹中连续10帧的行人姿态类别特征，看作一个状态值；将状态值放进强化网络中得到第10帧的动作，0或者1；初始状态为视频序列的1-10帧，放进强化网络得到第10帧的动作；然后将2-11帧的姿态类别特征作为新的状态值去得到第11帧的动作；不断循环，直到视频序列的所有帧所有轨迹都决策完成，如果检测出跌倒行为就会报警。
18、可选的，所述将所述行人姿态类别信息送入强化学习网络进行异常跌倒判别还包括：对强化学习网络设置奖励函数，对奖励函数进行条件设置，即预测结果与标签一致就给出奖励，不符合就惩罚；其中，奖励函数为：
19、
20、式中，tag为视频帧的标签，p为视频帧预测的动作，β为正整数，根据需要设定。
21、可选的，所述强化学习网络使用深度强化学习网络，输入为连续多帧的行人姿态类别编码的输入嵌入向量，输出为动作的最大值。
22、根据本专利技术的第二方面，提供基于深度强化学习的行人跌倒检测系统，包括：
23、目标检测模块，用于采用目标检测算法对视频图像进行检测，获得行人位置信息和行人姿态类别信息；
24、目标跟踪模块，用于利用deepsort算法对所述行人位置信息和行人姿态类别信息进行跟踪，得到行人运动轨迹；
25、跌倒判别模块，用于对所述行人运动轨迹进行行人姿态类别信息提取，将所述行人姿态类别信息送入强化学习网络进行异常跌倒判别，确定行人是否处于异常跌倒状态。
26、根据本专利技术的第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的基于深度强化学习的行人跌倒检测方法。
27、本专利技术的技术效果和优点：
28、本专利技术提供的一种基于深度强化学习的行人跌倒检测方法、系统及电子设备，“跌倒”其实是一个摔倒过程，本专利技术充分利用目标的多帧特征判别跌倒，将姿态类别编码作为强化学习网络输入，减小了特征维度，提高了决策速度；在跟踪过程中确定行人姿态类别识别；使用transformer网络作为深度强化学习网络；利用每个行人目标的多帧特征信息，判别每个行人目标是否跌倒，用本文档来自技高网...
【技术保护点】
1.基于深度强化学习的行人跌倒检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度强化学习的行人跌倒检测方法，其特征在于，所述目标检测算法采用YOLO、FasterRCNN、SSD算法对当前输入的图像帧进行行人目标检测，将检测到的行人行为姿势类别分为多类，分别为坐、立、走、跑、跳、蹲、仰卧、侧卧、俯卧、推、拉、打、前倾、侧倾、后倾、跨、弯腰、伸展。
3.根据权利要求1所述的基于深度强化学习的行人跌倒检测方法，其特征在于，获得行人位置信息和行人姿态类别信息包括：设行人目标状态集合为：
4.根据权利要求1所述的基于深度强化学习的行人跌倒检测方法，其特征在于，所述利用DeepSORT算法对所述行人位置信息和行人姿态类别信息进行跟踪，得到行人运动轨迹包括:
5.根据权利要求4所述的基于深度强化学习的行人跌倒检测方法，其特征在于，将Transformer网络作为深度强化学习网络，将状态值输入到Transformer网络中，利用网络自注意力机制获取输入序列中每个位置的信息，结合视频帧上下文的信息，输出两个维度的值，第一个维度看
6.根据权利要求1所述的基于深度强化学习的行人跌倒检测方法，其特征在于，所述将所述行人姿态类别信息送入强化学习网络进行异常跌倒判别，确定行人是否处于异常跌倒状态包括：
7.根据权利要求6所述的基于深度强化学习的行人跌倒检测方法，其特征在于，所述将所述行人姿态类别信息送入强化学习网络进行异常跌倒判别还包括：对强化学习网络设置奖励函数，对奖励函数进行条件设置，即预测结果与标签一致就给出奖励，不符合就惩罚；其中，奖励函数为：
8.根据权利要求7所述的基于深度强化学习的行人跌倒检测方法，其特征在于，所述强化学习网络使用深度强化学习网络，输入为连续多帧的行人姿态类别编码的输入嵌入向量，输出为动作的最大值。
9.基于深度强化学习的行人跌倒检测系统，其特征在于，包括：
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述基于深度强化学习的行人跌倒检测方法。
...【技术特征摘要】
1.基于深度强化学习的行人跌倒检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度强化学习的行人跌倒检测方法，其特征在于，所述目标检测算法采用yolo、fasterrcnn、ssd算法对当前输入的图像帧进行行人目标检测，将检测到的行人行为姿势类别分为多类，分别为坐、立、走、跑、跳、蹲、仰卧、侧卧、俯卧、推、拉、打、前倾、侧倾、后倾、跨、弯腰、伸展。
3.根据权利要求1所述的基于深度强化学习的行人跌倒检测方法，其特征在于，获得行人位置信息和行人姿态类别信息包括：设行人目标状态集合为：
4.根据权利要求1所述的基于深度强化学习的行人跌倒检测方法，其特征在于，所述利用deepsort算法对所述行人位置信息和行人姿态类别信息进行跟踪，得到行人运动轨迹包括:
5.根据权利要求4所述的基于深度强化学习的行人跌倒检测方法，其特征在于，将transformer网络作为深度强化学习网络，将状态值输入到transformer网络中，利用网络自注意力机制获取输入序列中每个位置的信息，结合视频帧上下文的信息，输出两个维度的值，第一个维度看成未跌倒...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。