一种基于jetsontx2和TensorRT加速推理的跌倒检测方法技术

本发明专利技术涉及一种基于jetsontx2和TensorRT加速推理的跌倒检测方法，包括：对截取的视频片段进行预处理；对预处理后的视频数据源进行数据集标注，得到标注数据集；对标注数据集进行预处理，得到标签数据集；构建并训练动作识别模型TwoStreamST

【技术实现步骤摘要】
一种基于jetson tx2和TensorRT加速推理的跌倒检测方法


[0001]本专利技术涉及跌倒检测
，尤其是一种基于jetson tx2和TensorRT加速推理的跌倒检测方法。

技术介绍

[0002]目前现有的跌倒检测方法主要有基于视频、可穿戴传感器、基于环境三大类。
[0003]其中基于穿戴传感器的方法大多以手环、手表、手机自带的IMU传感器等侵入式的形式出现，其可能会对一些用户的生活产生困扰，而且存在设备一旦脱落被监测对象则失灵的状况，而且其针对每一个被监测对象都需要配备传感器设备，且此类设备一般价格较高，对于机构型或者普通家庭而言成本高昂。其中基于环境的方法是针对特定环境设计的检测算法，与基于可穿戴传感器算法类似地，一般需要面对复杂的新环境做相应的定制化修改或重新设计，适配成本较高。基于视频和神经网络的跌倒检测算法可以对不同环境条件进行自动迭代升级，提高检测精度，避免了基于环境或者基于可穿戴传感器的算法带来的环境适配问题；由于基于视频的方法只需要被监测对象配备普通廉价的网络摄像头使用，此类方法较大地降低了使用成本。目前基于视频的跌倒检测算法使用的是基于单一图像帧的分类算法，其不能很好地对视频中人的运动特征进行识别，所以此类算法限制了模型识别准确度的提升；此类算法一般基于边缘设备的CPU，这也不可避免的造成检测速度很慢、检测滞后的问题。

技术实现思路

[0004]为解决跌倒检测设备的成本较高、摄像头检测造成的隐私问题，本专利技术的目的在于提供一种基于jetson tx2和TensorRT加速推理的跌倒检测方法。
[0005]为实现上述目的，本专利技术采用了以下技术方案：一种基于jetson tx2和TensorRT加速推理的跌倒检测方法，该方法包括下列顺序的步骤：
[0006](1)对包含单人的特定动作的视频进行采集和片段截取，对截取的视频片段进行预处理，得到预处理后的视频数据源；
[0007](2)对预处理后的视频数据源进行数据集标注，得到标注数据集；
[0008](3)对标注数据集进行预处理，得到标签数据集：基于人体关键点检测模型对视频每一帧中的动作中人体关键点进行识别，得到识别关键点，从识别关键点中选取13个关键点，基于其中的左肩、右肩2个关键点设置1个中心关键点，共14个关键点特征；预处理后得到标签数据集；
[0009](4)构建并训练动作识别模型Two Stream ST
‑
GCN，对14个关键点特征进行动作特征提取；
[0010](5)通过人体框检测模型、人体关键点检测模型、动作识别模型Two Stream ST
‑
GCN进行TensorRT加速，得到加速推理引擎；
[0011](6)根据加速推理引擎对视频流进行动作识别推理，得到动作识别推理结果；
[0012](7)将动作识别推理结果进行报警通知。
[0013]所述步骤(1)具体包括以下步骤：
[0014](1a)首先通过网络爬虫爬取或者自行拍摄含跌倒动作的视频，将仅含单人的明显的特定动作的连续视频片段截取为单独的视频文件，所述特定动作共七种：站着、行走、坐着、躺下、站起、坐下和跌倒，所述仅含单人的明显的特定动作指视频片段中的每一帧均含有明显的人物，仅含单人且每一帧中单人的动作为七种特定动作之一；
[0015](1b)对截取下的视频片段抽帧转换帧率，得到预处理后的视频数据源。
[0016]所述步骤(2)具体是指：通过VoTT视频标注软件对预处理后的视频数据源进行标注，在VoTT视频标注软件中设置标注帧率为15，即每秒标注15帧或者每秒标注15个标签，标注的标签为七种特定动作：站着、行走、坐着、躺下、站起、坐下和跌倒，得到标注数据集。
[0017]所述步骤(3)具体包括以下步骤：
[0018](3a)将被标注的视频源的每一个视频中的每一帧和其相应的动作相对应，并从第一帧进行编号，得到第一预处理标签文本；
[0019](3b)通过将视频源中每一帧输入人体关键点检测模型进行对13个关键点识别，13个关键点分别包括鼻子、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝和右踝，每一个关键点包含关键点位置x,y和关键点得分s三个数据信息；结合第一预处理标签文本中各个视频中每一帧对应的动作标签，生成第二预处理标签文本；
[0020](3c)根据第二预处理标签文本，选取13个关键点中的左肩、右肩的2个关键点的关键点得分s进行扩大操作，然后对这13个关键点的关键点得分s进行求均值，这个均值代表这一帧动作的得分；对13个关键点的位置x,y进行最大
‑
最小值归一化处理；
[0021]添加一个中心关键点z(x,y,s)，其计算公式为:
[0022][0023]选取预测动作周期T，若选取T为30，则对以每一帧起始的连续30帧作为一个预测周期，若一个视频有N帧，则该视频共有预测周期N
‑
29个；
[0024]得到人体关键点检测模型的特征矩阵X的维度为n
×
30
×
14
×
3，标签矩阵Y的维度为n
×
7，特征矩阵X和标签矩阵Y组成标签数据集。
[0025]所述步骤(4)具体包括以下步骤：
[0026](4a)将标签数据集输入动作识别模型Two Stream ST
‑
GCN：动作识别模型Two Stream ST
‑
GCN有两组输入分别为1
×1×3×
30
×
14、1
×1×2×
30
×
14，输入动作识别模型Two Stream ST
‑
GCN的标签数据的大小为2
×1×3×
30
×
14，其中，第一组为关键点位置信息输入joint
t
(x,y,s)，其中，下标t为周期序列号代表时间，其取值为[1,N
‑
T+1]，其维度值3代表14个关键点的位置和关键点得分x,y,s；第二组为关键点位置空间变换信息输入motion
t
(x,y)，其中，下标t为周期序列号代表时间，其维度值中2代表14个关键点的两组运动矢量两组输入中的30指预测动作周期T＝30，14指代14个关键点；其中motion
t
(x,y)的计算公式为：
[0027]motion
t+1
(x,y)＝joint
t+1
(x,y)
‑
joint
t
(x,y)
[0028](4b)动作识别模型Two Stream ST
‑
GCN共包含的网络层种类有：BN层、ST
‑
GCN层、
全局平均池化层、全连接层；
[0029]在One Stream ST
...

【技术保护点】

【技术特征摘要】
1.一种基于jetsontx2和TensorRT加速推理的跌倒检测方法，其特征在于：该方法包括下列顺序的步骤：(1)对包含单人的特定动作的视频进行采集和片段截取，对截取的视频片段进行预处理，得到预处理后的视频数据源；(2)对预处理后的视频数据源进行数据集标注，得到标注数据集；(3)对标注数据集进行预处理，得到标签数据集：基于人体关键点检测模型对视频每一帧中的动作中人体关键点进行识别，得到识别关键点，从识别关键点中选取13个关键点，基于其中的左肩、右肩2个关键点设置1个中心关键点，共14个关键点特征；预处理后得到标签数据集；(4)构建并训练动作识别模型TwoStreamST
‑
GCN，对14个关键点特征进行动作特征提取；(5)通过人体框检测模型、人体关键点检测模型、动作识别模型Two StreamST
‑
GCN进行TensorRT加速，得到加速推理引擎；(6)根据加速推理引擎对视频流进行动作识别推理，得到动作识别推理结果；(7)将动作识别推理结果进行报警通知。2.根据权利要求1所述的基于jetsontx2和TensorRT加速推理的跌倒检测方法，其特征在于：所述步骤(1)具体包括以下步骤：(1a)首先通过网络爬虫爬取或者自行拍摄含跌倒动作的视频，将仅含单人的明显的特定动作的连续视频片段截取为单独的视频文件，所述特定动作共七种：站着、行走、坐着、躺下、站起、坐下和跌倒，所述仅含单人的明显的特定动作指视频片段中的每一帧均含有明显的人物，仅含单人且每一帧中单人的动作为七种特定动作之一；(1b)对截取下的视频片段抽帧转换帧率，得到预处理后的视频数据源。3.根据权利要求1所述的基于jetsontx2和TensorRT加速推理的跌倒检测方法，其特征在于：所述步骤(2)具体是指：通过VoTT视频标注软件对预处理后的视频数据源进行标注，在VoTT视频标注软件中设置标注帧率为15，即每秒标注15帧或者每秒标注15个标签，标注的标签为七种特定动作：站着、行走、坐着、躺下、站起、坐下和跌倒，得到标注数据集。4.根据权利要求1所述的基于jetson tx2和TensorRT加速推理的跌倒检测方法，其特征在于：所述步骤(3)具体包括以下步骤：(3a)将被标注的视频源的每一个视频中的每一帧和其相应的动作相对应，并从第一帧进行编号，得到第一预处理标签文本；(3b)通过将视频源中每一帧输入人体关键点检测模型进行对13个关键点识别，13个关键点分别包括鼻子、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝和右踝，每一个关键点包含关键点位置x,y和关键点得分s三个数据信息；结合第一预处理标签文本中各个视频中每一帧对应的动作标签，生成第二预处理标签文本；(3c)根据第二预处理标签文本，选取13个关键点中的左肩、右肩的2个关键点的关键点得分s进行扩大操作，然后对这13个关键点的关键点得分s进行求均值，这个均值代表这一帧动作的得分；对13个关键点的位置x,y进行最大
‑
最小值归一化处理；添加一个中心关键点z(x,y,s)，其计算公式为:
选取预测动作周期T，若选取T为30，则对以每一帧起始的连续30帧作为一个预测周期，若一个视频...

【专利技术属性】
技术研发人员：陈鹏，巫福琳，章军，郑春厚，夏懿，王兵，
申请(专利权)人：安徽大学，
类型：发明
国别省市：