一种跌倒动作的识别方法、装置及系统制造方法及图纸

本发明专利技术公开了一种跌倒动作的识别方法、装置及系统。该识别装置包括模型训练单元、图像获取单元以及跌倒识别单元。该识别系统包括行为识别模块、数据存储模块以及一个或多个摄像头。通过TRN时序网络加强卷积神经网络的时序处理能力，并使用该卷积神经网络对获取到的待识别的动作图像组进行识别分类，该识别方法、装置及系统提升了跌倒动作的识别效率；进一步地，本发明专利技术提供的一种跌倒动作的识别方法、装置及系统还通过在识别结果为检测到跌倒行为时，向用户发送提示信息，从而提升了安全性。从而提升了安全性。从而提升了安全性。

【技术实现步骤摘要】
一种跌倒动作的识别方法、装置及系统


[0001]本专利技术涉及跌倒动作的识别领域，涉及一种跌倒动作的识别方法、装置及系统。

技术介绍

[0002]随着国内人口老龄化的增长，独居老人的健康监护变得越来越重要，当老人发生跌倒时，如果能够得到及时的救治，就避免老人被二次伤害。因此，监护装置对于跌倒动作的识别是至关重要的。
[0003]在现有技术中，对于跌倒动作的识别主要是基于可穿戴设备、基于环境传感器和基于计算机视觉进行识别。其中，由于基于可穿戴设备不利于老人的生活行动，且在忘记佩带时无法实时检测；而基于环境传感器容易受到周围环境的干扰，且设备昂贵，准确率低下，因此，现有技术中普遍基于计算机视觉进行跌倒动作的识别。在深度学习领域，用于跌倒行为检测的方法主要为双流法和3D CNN，双流法是将光流信息与RGB信息进行融合，以提高检测精度；3DCNN使用3D卷积核从连续的RGB视频序列中提取时序特征。
[0004]但是，现有技术仍存在如下缺陷：(1)需要预先计算光流信息，降低了算法的效率；(2)连续帧输入网络时，连续帧之间信息存在冗余，3D卷积计算量大；(3)由于网络的帧序列通常为20
‑
30帧，网络很难提取长期的时序关系。
[0005]因此，当前需要一种跌倒动作的识别方法、装置及系统，从而克服现有技术中存在的上述缺陷。

技术实现思路

[0006]针对现存的上述技术问题，本专利技术的目的在于提供一种跌倒动作的识别方法、装置及系统，从而提升跌倒动作的识别效率。
[0007]本专利技术提供了一种跌倒动作的识别方法，所述识别方法包括：根据预设的训练数据集，对预设的第一跌倒识别网络进行训练以获取跌倒识别网络；所述训练数据集为UR Fall数据集；所述第一跌倒识别网络包括TRN时序网络以及Backbone网络；获取待识别的动作图像组；根据所述跌倒识别网络分析所述动作图像组的时序特征和动作特征，对所述动作图像组进行识别分类，从而获取识别结果。
[0008]在一个实施例中，根据预设的训练数据集，对预设的第一跌倒识别网络进行训练以获取跌倒识别网络，具体包括：将预设的训练数据集输入第一跌倒识别网络中的Backbone网络，从而提取出所述训练数据集的特征数据组；所述特征数据组包括多个特征数据；根据第一跌倒识别网络中的TRN时序网络对所述多个特征数据进行时间关系推理以得出多个特征数据之间的时间关系，并根据所述时间关系将输出的结果进行拼接，从而获得训练识别结果；根据所述训练识别结果对所述第一跌倒识别网络进行修正，并将修正后的第一得到识别网络输出为跌倒识别网络。
[0009]在一个实施例中，根据第一跌倒识别网络中的TRN时序网络对所述多个特征数据进行时间关系推理以得出多个特征数据之间的时间关系，具体包括：将所述多个特征数据
输入第一跌倒识别网络中的TRN时序网络中，以使所述TRN时序网络根据预设的时间复合函数，分别获取所述多个特征数据在多个时间尺度上的第一时间复合函数以作为对应的时间关系；其中，所述时间复合函数为：式中，V为输入的视频，有n帧有序帧，其中f
i
表示第i帧，这里和g
θ
分别为MLP中对应的函数。
[0010]在一个实施例中，将预设的训练数据集输入第一跌倒识别网络中的Backbone网络，从而提取出所述训练数据集的特征数据组，具体包括：根据预设的输入要求，对预设的训练数据集进行缩放以获取输入数据集；所述输入数据集对应于所述训练数据集；通过第一跌倒识别网络中的Backbone网络，提取所述输入数据集中的图像特征，获得特征数据组。
[0011]在一个实施例中，根据所述训练识别结果对所述第一跌倒识别网络进行修正，并将修正后的第一得到识别网络输出为跌倒识别网络，具体包括：根据所述训练识别结果计算损失值，并根据所述损失值判断所述第一跌倒识别网络是否收敛；若不收敛，则反向传递所述损失值以根据所述损失值调整所述第一跌倒识别网络的参数，并重复上述步骤；若收敛，则将所述第一跌倒识别网络输出为跌倒识别网络。
[0012]在一个实施例中，根据所述时间关系将输出的结果进行拼接，从而获得训练识别结果，具体包括：将各个时间关系对应的第一时间复合函数进行累加以获得训练识别结果。
[0013]在一个实施例中，在根据所述跌倒识别网络分析所述动作图像组的时序特征和动作特征，对所述动作图像组进行识别分类，从而获取识别结果之后，还包括：当识别结果为检测到跌倒行为时，向用户发送提示信息。
[0014]本专利技术还提供了一种跌倒动作的识别装置，所述识别装置包括模型训练单元、图像获取单元以及跌倒识别单元，其中，所述模型训练单元用于根据预设的训练数据集，对预设的第一跌倒识别网络进行训练以获取跌倒识别网络；所述训练数据集为UR Fall数据集；所述第一跌倒识别网络包括TRN时序网络以及Backbone网络；所述图像获取单元用于获取待识别的动作图像组；所述跌倒识别单元用于根据所述跌倒识别网络分析所述动作图像组的时序特征和动作特征，对所述动作图像组进行识别分类，从而获取识别结果。
[0015]在一个实施例中，模型训练单元还用于：将预设的训练数据集输入第一跌倒识别网络中的Backbone网络，从而提取出所述训练数据集的特征数据组；所述特征数据组包括多个特征数据；根据第一跌倒识别网络中的TRN时序网络对所述多个特征数据进行时间关系推理以得出多个特征数据之间的时间关系，并根据所述时间关系将输出的结果进行拼接，从而获得训练识别结果；根据所述训练识别结果对所述第一跌倒识别网络进行修正，并将修正后的第一得到识别网络输出为跌倒识别网络。
[0016]在一个实施例中，所述识别装置还包括跌倒提示单元，所述跌倒提示单元用于在识别结果为检测到跌倒行为时，向用户发送提示信息。
[0017]本专利技术还提供了一种跌倒动作的识别系统，所述识别系统包括行为识别模块、数据存储模块以及一个或多个摄像头，所述行为识别模块分别与所述数据存储模块以及所述摄像头通信连接，所述数据存储模块用于存储所有数据，所述摄像头用于采集待识别的动作图像组，并将所述动作图像组发送给所述行为识别模块，所述行为识别模块用于执行如前所述的跌倒动作的识别方法。
[0018]在一个实施例中，所述识别系统还包括用户交互模块，所述用户交互模块与所述
行为识别模块通信连接，所述用户交互模块用于在识别结果为检测到跌倒行为时，向用户发送提示信息。
[0019]相比于现有技术，本专利技术实施例具有如下有益效果：
[0020]本专利技术提供了一种跌倒动作的识别方法、装置及系统，通过TRN时序网络加强卷积神经网络的时序处理能力，并使用该卷积神经网络对获取到的待识别的动作图像组进行识别分类，该识别方法、装置及系统提升了跌倒动作的识别效率。
[0021]进一步地，本专利技术提供的一种跌倒动作的识别方法、装置及系统还通过在识别结果为检测到跌倒行为时，向用户发送提示信息，从而提升了安全性。
附图说明
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跌倒动作的识别方法，其特征在于，所述识别方法包括：根据预设的训练数据集，对预设的第一跌倒识别网络进行训练以获取跌倒识别网络；所述训练数据集为UR Fall数据集；所述第一跌倒识别网络包括TRN时序网络以及Backbone网络；获取待识别的动作图像组；根据所述跌倒识别网络分析所述动作图像组的时序特征和动作特征，对所述动作图像组进行识别分类，从而获取识别结果。2.根据权利要求1所述的跌倒动作的识别方法，其特征在于，根据预设的训练数据集，对预设的第一跌倒识别网络进行训练以获取跌倒识别网络，具体包括：将预设的训练数据集输入第一跌倒识别网络中的Backbone网络，从而提取出所述训练数据集的特征数据组；所述特征数据组包括多个特征数据；根据第一跌倒识别网络中的TRN时序网络对所述多个特征数据进行时间关系推理以得出多个特征数据之间的时间关系，并根据所述时间关系将输出的结果进行拼接，从而获得训练识别结果；根据所述训练识别结果对所述第一跌倒识别网络进行修正，并将修正后的第一得到识别网络输出为跌倒识别网络。3.根据权利要求2所述的跌倒动作的识别方法，其特征在于，根据第一跌倒识别网络中的TRN时序网络对所述多个特征数据进行时间关系推理以得出多个特征数据之间的时间关系，具体包括：将所述多个特征数据输入第一跌倒识别网络中的TRN时序网络中，以使所述TRN时序网络根据预设的时间复合函数，分别获取所述多个特征数据在多个时间尺度上的第一时间复合函数以作为对应的时间关系；其中，所述时间复合函数为：式中，V为输入的视频，有n帧有序帧，其中f
i
表示第i帧，这里和g
θ
分别为MLP中对应的函数。4.根据权利要求2所述的跌倒动作的识别方法，其特征在于，将预设的训练数据集输入第一跌倒识别网络中的Backbone网络，从而提取出所述训练数据集的特征数据组，具体包括：根据预设的输入要求，对预设的训练数据集进行缩放以获取输入数据集；所述输入数据集对应于所述训练数据集；通过第一跌倒识别网络中的Backbone网络，提取所述输入数据集中的图像特征，获得特征数据组。5.根据权利要求2所述的跌倒动作的识别方法，其特征在于，根据所述训...

【专利技术属性】
技术研发人员：吴国栋，张赛，袁野，万里红，刘娜，
申请(专利权)人：中原动力智能机器人有限公司，
类型：发明
国别省市：