一种跌倒检测方法、跌倒检测装置、计算机设备和介质制造方法及图纸

本发明专利技术公开了一种跌倒检测方法、跌倒检测装置、计算机设备和介质，其中一实施例的跌倒检测方法包括：使用跌倒检测模型对接收的RGB待测视频进行检测并输出第一检测结果，包括：使用关键点检测模型对第一组图像进行关键点检测并生成关键点热图，所述第一组图像为按照第一预设间隔从所述RGB待测视频中提取的图像；根据所述关键点热图生成关键点数据张量，使用第一三维卷积网络对所述关键点数据张量进行数据处理并输出第一结果张量；使用全连接网络对所述第一结果张量进行数据处理并输出第一检测结果；将所述第一检测结果和预设置的跌倒检测阈值进行比对并输出跌倒检测结果。本发明专利技术提供的跌倒检测方法能够准确地实现跌倒检测，具有实际应用价值。具有实际应用价值。具有实际应用价值。

【技术实现步骤摘要】
一种跌倒检测方法、跌倒检测装置、计算机设备和介质


[0001]本专利技术涉及人体检测
，特别是涉及一种跌倒检测方法、跌倒检测装置、计算机设备和介质。

技术介绍

[0002]每年都有大量的老人，残障人士因为跌倒而受到严重的身体创伤，有效的跌倒检测对于跌倒人员的救治具有积极意义，同时有利于跌倒人员的后续医疗康护。

技术实现思路

[0003]为了解决上述问题至少之一，本专利技术第一个实施例提供一种跌倒检测方法，包括：
[0004]使用跌倒检测模型对接收的RGB待测视频进行检测并输出第一检测结果，包括：使用关键点检测模型对第一组图像进行关键点检测并生成关键点热图，所述第一组图像为按照第一预设间隔从所述RGB待测视频中提取的图像；根据所述关键点热图生成关键点数据张量，使用第一三维卷积网络对所述关键点数据张量进行数据处理并输出第一结果张量；使用全连接网络对所述第一结果张量进行数据处理并输出第一检测结果；
[0005]将所述第一检测结果和预设置的跌倒检测阈值进行比对并输出跌倒检测结果。
[0006]例如，在本申请一些实施例提供的跌倒检测方法中，在所述使用全连接网络对所述第一张量进行数据处理并输出第一检测结果之前，所述使用跌倒检测模型对接收的RGB待测视频进行检测并输出第一检测结果进一步包括：
[0007]使用第二三维卷积网络对第二组图像进行数据处理并输出第二结果张量，所述第二组图像为按照第二预设间隔从所述RGB待测视频的预设时间段视频中提取的图像；
[0008]将所述第一结果张量和第二结果张量进行拼接并将拼接结果作为更新的第一结果张量。
[0009]例如，在本申请一些实施例提供的跌倒检测方法中，在所述使用跌倒检测模型对接收的RGB待测视频进行检测并输出第一检测结果之前，所述跌倒检测方法还包括：
[0010]使用训练样本训练所述跌倒检测模型，包括：将RGB样本视频输入所述跌倒检测模型并输出第二检测结果，使用损失函数评估所述第二检测结果并调整所述跌倒检测模型的参数。
[0011]例如，在本申请一些实施例提供的跌倒检测方法中，所述损失函数为：
[0012][0013]其中，l为所述RGB样本视频的标签，x为所述跌倒检测模型输出的第二检测结果。
[0014]例如，在本申请一些实施例提供的跌倒检测方法中，在所述使用训练样本训练所述跌倒检测模型之前，所述跌倒检测方法还包括：
[0015]获取所述训练样本，包括：根据RGB样本视频生成第一组样本图像和第二组样本图像，使用所述关键点检测模型对所述第一组样本图像进行关键点检测并生成关键点样本热
图、基于所述关键点样本热图生成关键点样本数据张量，对所述第二组样本图像进行数据增强，对所述关键点样本热图和增强的第二组样本图像进行关键点关联并增强。
[0016]例如，在本申请一些实施例提供的跌倒检测方法中，所述使用所述关键点检测模型对所述第一组样本图像进行关键点检测并生成关键点样本热图、基于所述关键点样本热图生成关键点样本数据张量进一步包括：对所述第一组样本图像的每一张样本图像进行关键点检测以输出每一张关键点样本，并以预设概率删除所述关键点样本中的一个关键点以增强所述关键点样本，根据增强的关键点样本生成所述关键点样本热图，再根据所述关键点样本热图生成关键点样本数据张量；
[0017]所述对所述第二组样本图像进行数据增强进一步包括：对所述第二组样本图像的每一张样本图像进行图像颜色增强，对所述图像颜色增强的第二组样本图像进行随机切除处理以增强所述第二组样本图像；
[0018]所述对所述关键点样本热图和增强的第二组样本图像进行关键点关联并增强进一步包括：对所述关键点样本热图和增强的第二组样本图像进行随机左右翻转处理。
[0019]例如，在本申请一些实施例提供的跌倒检测方法中，
[0020]所述第一组图像为按照第一预设间隔从接收的RGB待测视频中提取的图像进一步包括：
[0021]按照所述第一预设间隔将所述RGB待测视频进行划分获得多个第一间隔待测视频；
[0022]从每个第一间隔待测视频中随机抽取一帧图像以生成所述第一组图像；
[0023]和/或
[0024]所述使用关键点检测模型对第一组图像进行关键点检测并生成关键点热图进一步包括：对所述关键点热图进行下采样。
[0025]例如，在本申请一些实施例提供的跌倒检测方法中，
[0026]所述关键点检测模型为openpose或hrnet；
[0027]和/或
[0028]所述第一三维卷积网络为I3D、TSM、SlowOnly中的一个，所述第二三维卷积网络为I3D、TSM、SlowOnly中的一个，所述第一三维卷积网络和第二三维卷积网络为相同网络或不同网络，所述第一三维卷积网络和第二三维卷积网络为相同网络时网络权重不同。
[0029]本专利技术第二个实施例提供一种跌倒检测装置，包括通信单元、跌倒检测模型和控制器，其中，所述控制器配置为：
[0030]使用所述通信单元接收RGB待测视频；
[0031]使用所述跌倒检测模型对所述RGB待测视频进行检测并输出第一检测结果，包括：使用关键点检测模型对第一组图像进行关键点检测并生成关键点热图，所述第一组图像为按照第一预设间隔从所述RGB待测视频中提取的图像；根据所述关键点热图生成关键点数据张量，使用第一三维卷积网络对所述关键点数据张量进行数据处理并输出第一结果张量；使用全连接网络对所述第一结果张量进行数据处理并输出第一检测结果；
[0032]将所述第一检测结果和预设置的跌倒检测阈值进行比对并输出跌倒检测结果。
[0033]例如，在本申请一些实施例提供的跌倒检测装置中，所述跌倒检测模型还包括第二三维卷积网络，所述控制器使用所述跌倒检测模型对所述RGB待测视频进行检测并输出
第一检测结果进一步配置为：
[0034]使用关键点检测模型对第一组图像进行关键点检测并生成关键点热图，所述第一组图像为按照第一预设间隔从所述RGB待测视频中提取的图像；
[0035]根据所述关键点热图生成关键点数据张量，使用第一三维卷积网络对所述关键点数据张量进行数据处理并输出第一结果张量；
[0036]使用第二三维卷积网络对第二组图像进行数据处理并输出第二结果张量，所述第二组图像为按照第二预设间隔从所述RGB待测视频的预设时间段视频中提取的图像；
[0037]将所述第一结果张量和第二结果张量进行拼接并将拼接结果作为更新的第一结果张量；
[0038]使用全连接网络对所述第一结果张量进行数据处理并输出第一检测结果。
[0039]本专利技术第三个实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一个实施例所述的方法。
[0040]本专利技术第四个实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跌倒检测方法，其特征在于，包括：使用跌倒检测模型对接收的RGB待测视频进行检测并输出第一检测结果，包括：使用关键点检测模型对第一组图像进行关键点检测并生成关键点热图，所述第一组图像为按照第一预设间隔从所述RGB待测视频中提取的图像；根据所述关键点热图生成关键点数据张量，使用第一三维卷积网络对所述关键点数据张量进行数据处理并输出第一结果张量；使用全连接网络对所述第一结果张量进行数据处理并输出第一检测结果；将所述第一检测结果和预设置的跌倒检测阈值进行比对并输出跌倒检测结果。2.根据权利要求1所述的跌倒检测方法，其特征在于，在所述使用全连接网络对所述第一张量进行数据处理并输出第一检测结果之前，所述使用跌倒检测模型对接收的RGB待测视频进行检测并输出第一检测结果进一步包括：使用第二三维卷积网络对第二组图像进行数据处理并输出第二结果张量，所述第二组图像为按照第二预设间隔从所述RGB待测视频的预设时间段视频中提取的图像；将所述第一结果张量和第二结果张量进行拼接并将拼接结果作为更新的第一结果张量。3.根据权利要求2所述的跌倒检测方法，其特征在于，在所述使用跌倒检测模型对接收的RGB待测视频进行检测并输出第一检测结果之前，所述跌倒检测方法还包括：使用训练样本训练所述跌倒检测模型，包括：将RGB样本视频输入所述跌倒检测模型并输出第二检测结果，使用损失函数评估所述第二检测结果并调整所述跌倒检测模型的参数。4.根据权利要求3所述的跌倒检测方法，其特征在于，所述损失函数为：其中，l为所述RGB样本视频的标签，x为所述跌倒检测模型输出的第二检测结果。5.根据权利要求3所述的跌倒检测方法，其特征在于，在所述使用训练样本训练所述跌倒检测模型之前，所述跌倒检测方法还包括：获取所述训练样本，包括：根据RGB样本视频生成第一组样本图像和第二组样本图像，使用所述关键点检测模型对所述第一组样本图像进行关键点检测并生成关键点样本热图、基于所述关键点样本热图生成关键点样本数据张量，对所述第二组样本图像进行数据增强，对所述关键点样本热图和增强的第二组样本图像进行关键点关联并增强。6.根据权利要求5所述的跌倒检测方法，其特征在于，所述使用所述关键点检测模型对所述第一组样本图像进行关键点检测并生成关键点样本热图、基于所述关键点样本热图生成关键点样本数据张量进一步包括：对所述第一组样本图像的每一张样本图像进行关键点检测以输出每一张关键点样本，并以预设概率删除所述关键点样本中的一个关键点以增强所述关键点样本，根据增强的关键点样本生成所述关键点样本热图，再根据所述关键点样本热图生成关键点样本数据张量；所述对所述第二组样本图像进行数据增强进一步包括：对所述第二组样本图像的每一张样本图像进行图像颜色增强，对所述图像颜色增强的第二组样本图像进行随机切除处理以增强所述第二组样本图像；所述对所述关键点样本热图和增强的第二组样本图像进行关键点关联并增强进一步
...

【专利技术属性】
技术研发人员：王杰，孔繁昊，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：