一种摔倒行为识别方法、设备及系统技术方案

本申请实施例提供了一种摔倒行为识别方法、设备及系统。该方法包括：获取目标空间的视频数据；对该视频数据中的各个视频帧进行处理，确定视频帧中目标人体的关键骨骼点的骨骼点信息；根据多个视频帧所对应的骨骼点信息以及预先生成的目标空间中的指定对象的标记信息，识别目标人体是否存在摔倒行为；其中，上述指定对象为可用于躺卧的物体。本申请实施例，可避免目标人体在指定对象上躺下的行为被误识别为摔倒行为的情况的发生，即减少误判情况的发生，从而提高了摔倒行为识别的准确性；并且，不需要目标人体佩戴任何可穿戴设备即可实现摔倒行为的识别，不会对日常活动产生影响以及带来不适感。

【技术实现步骤摘要】
一种摔倒行为识别方法、设备及系统
本申请涉及机器视觉
，尤其涉及一种摔倒行为识别方法、设备及系统。
技术介绍
随着社会老龄化的加剧，以及越来越多的年轻人外出打工，独居老人的比例越来越高。随着年龄的增长，老年人的身体机能不断下降，摔倒已成为老年人受到伤害和死亡的最大诱因。如果老人在摔倒后能够得到及时医疗救助，可有效降低意外伤亡风险。因此，消费者对于摔倒行为检测设备的需求也在迅速增加。目前，已经存在的摔倒行为检测方案主要包含两大类，一类是通过穿戴可穿戴设备，通过可穿戴设备对人体的姿态进行监测，从而判断佩戴者是否出现摔倒动作。但是，这种方式需要佩戴者长期佩带可穿戴设备，舒适感较差，且不方便用户的日常活动；另一类是通过监控设备进行监控，对监控画面进行分析以确定是否存在摔倒行为，但是，目前的识别方法中会将监控画面中所有卧倒动作都识别为摔倒行为，如在床上躺下等，也即容易出现误判、准确性较低。由此可知，利用现有技术进行摔倒行为识别时，存在影响用户舒适感、不方便用户的日常活动，或者容易出现误判、准确性较低的问题。申请内容本申请实施例采用下述技术方案：第一方面，本申请实施例提供一种摔倒行为识别方法，包括：获取目标空间的视频数据；对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息；其中，所述骨骼点信息至少包括所述关键骨骼点在所述目标空间的位置信息和所述关键骨骼点的置信度信息；根据多个所述视频帧所对应的所述骨骼点信息以及预先生成的所述目标空间中的指定对象的标记信息，识别所述目标人体是否存在摔倒行为；其中，所述指定对象为可用于躺卧的物体，所述标记信息用于标记所述指定对象在所述目标空间的位置信息。可选的，所述根据多个所述视频帧所对应的所述骨骼点信息以及预先确定的所述目标空间中的指定对象的位置信息，识别所述目标人体是否存在摔倒行为，包括：基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据；将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；若识别结果指示所述目标人体存在倒下动作，则根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；若判断结果指示所述目标人体处于所述指定对象上，则确定所述目标人体不存在摔倒行为；否则，确定所述目标人体存在摔倒行为。可选的，所述根据多个所述视频帧所对应的所述骨骼点信息以及预先确定的所述目标空间中的指定对象的位置信息，识别所述目标人体是否存在摔倒行为，包括：根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；若确定所述目标人体未处于所述指定对象上，则基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据，将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；若是识别结果指示所述目标人体存在倒下动作，则确定所述目标人体存在摔倒行为。可选的，所述关键骨骼点在所述目标空间的位置信息包括所述关键骨骼点在所述视频帧的坐标系中的第一坐标信息，所述指定对象的标记信息包括所述指定对象在其所在视频帧的坐标系中的第二坐标信息；相应的，所述根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上，包括：从所述关键骨骼点中筛选出属于所述目标人体的躯干部位的躯干骨骼点；判断所述躯干骨骼点所对应的第一坐标信息是否位于所述第二坐标信息的范围内；若是，则确定所述目标人体处于所述指定对象上。可选的，所述对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息，包括：针对所述视频数据中的各个视频帧，提取所述视频帧中所述目标人体所对应的局部区域图像；对所述局部区域图像进行人体姿态估计，确定所述目标人体的关键骨骼点的骨骼点信息。可选的，本申请实施例提供的方法，还包括：按照预设时间间隔获取所述目标空间中包含所述指定对象在内的场景视频数据，对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息；或者，在预设时刻点获取所述目标空间中包含所述指定对象在内的场景视频数据，对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息。第二方面，本申请实施例还提供了一种摔倒行为识别设备，所述设备包括：图像采集模块，用于获取目标空间的视频数据；图像处理模块，用于对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息；根据多个所述视频帧所对应的所述骨骼点信息以及预先生成的所述目标空间中的指定对象的标记信息，识别所述目标人体是否存在摔倒行为；其中，所述骨骼点信息至少包括所述关键骨骼点在所述目标空间的位置信息和所述关键骨骼点的置信度信息；所述指定对象为可用于躺卧的物体，所述标记信息用于标记所述指定对象在所述目标空间的位置信息。可选的，所述图像处理模块，具体用于：基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据；将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；若识别结果指示所述目标人体存在倒下动作，则根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；若判断结果指示所述目标人体处于所述指定对象上，则确定所述目标人体不存在摔倒行为；否则，确定所述目标人体存在摔倒行为。可选的，所述图像处理模块，还具体用于：根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；若确定所述目标人体未处于所述指定对象上，则基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据，将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；若是识别结果指示所述目标人体存在倒下动作，则确定所述目标人体存在摔倒行为。可选的，所述图像采集模块，还用于：按照预设时间间隔或者在预设时间点获取所述目标空间中包含所述指定对象在内的场景视频数据；所述图像处理模块，还用于对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息。第三方面，本申请实施例还提供了一种摔倒行为识别系统，所述系统包括视频采集设备和服务器；所述视频采集设备，用于采集目标空间的视频数据，并将所述视频数据发送给所述服务器；所述服务器，用于对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息；根据多个所述视频帧所对应的所述骨骼点信息以及预先生成的所述目标空间中的指定对象的标记信息，识别所述目标人体是否存在摔倒行为；其中，所述骨骼点信息至少包括所述关键骨骼点在所述目标空间的位置信息和所述关键骨骼点的置信度信息；所述指定对象为可用于躺本文档来自技高网...

【技术保护点】
1.一种摔倒行为识别方法，其特征在于，所述方法包括：/n获取目标空间的视频数据；/n对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息；其中，所述骨骼点信息至少包括所述关键骨骼点在所述目标空间的位置信息和所述关键骨骼点的置信度信息；/n根据多个所述视频帧所对应的所述骨骼点信息以及预先生成的所述目标空间中的指定对象的标记信息，识别所述目标人体是否存在摔倒行为；其中，所述指定对象为可用于躺卧的物体，所述标记信息用于标记所述指定对象在所述目标空间的位置信息。/n

【技术特征摘要】
1.一种摔倒行为识别方法，其特征在于，所述方法包括：
获取目标空间的视频数据；
对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息；其中，所述骨骼点信息至少包括所述关键骨骼点在所述目标空间的位置信息和所述关键骨骼点的置信度信息；
根据多个所述视频帧所对应的所述骨骼点信息以及预先生成的所述目标空间中的指定对象的标记信息，识别所述目标人体是否存在摔倒行为；其中，所述指定对象为可用于躺卧的物体，所述标记信息用于标记所述指定对象在所述目标空间的位置信息。


2.如权利要求1所述的方法，其特征在于，所述根据多个所述视频帧所对应的所述骨骼点信息以及预先确定的所述目标空间中的指定对象的位置信息，识别所述目标人体是否存在摔倒行为，包括：
基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据；
将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；
若识别结果指示所述目标人体存在倒下动作，则根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；
若判断结果指示所述目标人体处于所述指定对象上，则确定所述目标人体不存在摔倒行为；否则，确定所述目标人体存在摔倒行为。


3.如权利要求1所述的方法，其特征在于，所述根据多个所述视频帧所对应的所述骨骼点信息以及预先确定的所述目标空间中的指定对象的位置信息，识别所述目标人体是否存在摔倒行为，包括：
根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；
若确定所述目标人体未处于所述指定对象上，则基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据，将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；
若是识别结果指示所述目标人体存在倒下动作，则确定所述目标人体存在摔倒行为。


4.如权利要求2或3所述的方法，其特征在于，所述关键骨骼点在所述目标空间的位置信息包括所述关键骨骼点在所述视频帧的坐标系中的第一坐标信息，所述指定对象的标记信息包括所述指定对象在其所在视频帧的坐标系中的第二坐标信息；
相应的，所述根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上，包括：
从所述关键骨骼点中筛选出属于所述目标人体的躯干部位的躯干骨骼点；
判断所述躯干骨骼点所对应的第一坐标信息是否位于所述第二坐标信息的范围内；
若是，则确定所述目标人体处于所述指定对象上。


5.如权利要求1所述的方法，其特征在于，所述对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息，包括：
针对所述视频数据中的各个视频帧，提取所述视频帧中所述目标人体所对应的局部区域图像；
对所述局部区域图像进行人体姿态估计，确定所述目标人体的关键骨骼点的骨骼点信息。


6.如权利要求1所述的方法，其特征在于，所述方法还包括：
按照预设时间间隔获取所述目标空间中包含所述指定对象在内的场景视频数据，对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息；
或者，
在预设时刻点获取所述目标空间中包含所述指定对象在内的场景视频数据，对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息。


7.一种摔倒行为识别设备，其特征在于，所述设备包括：
图像采集模块，用于获取目标空间的视频数据；
图像处理模块，用于对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息；根据多个所述视频帧所对应的所述骨骼点信息以及预先生成的所述目标空间中的指定对象的标记信...

【专利技术属性】
技术研发人员：蔡冬，
申请(专利权)人：杭州萤石软件有限公司，
类型：发明
国别省市：浙江;33