一种识别老年人跌倒的方法及陪伴机器人技术

技术编号:22565560 阅读:35 留言:0更新日期:2019-11-16 12:13
本发明专利技术公开了一种识别老年人跌倒的方法及陪伴机器人,涉及摔倒姿态识别领域;方法包括步骤1:采集身体视频数据;步骤2:进行人体定位;步骤3:基于上述结果获取骨架信息;步骤4:根据骨架信息计算头脚高度差值hd、前后帧的头脚高度差值hp、前后帧头部高度差值对应的速度v和肩膀宽度w;步骤5:根据上述数据建立判定公式,输出结果,并计算距离度量误差,判断其是否满足二分类条件,若满足,则采用建立的神经网络模型进行识别,若否,则返至步骤1;本发明专利技术先进行人物提取,再进行姿态识别,识别通过骨架信息进行动态和静态识别,解决现有采用局部特征提取和检测导致识别准确率低的问题,实现正确、快速识别出老年人跌倒行为。

A method to identify falls of the elderly and its companion robot

The invention discloses a method for identifying falls of the elderly and a companion robot, which relates to the field of fall posture recognition. The method includes step 1: collecting body video data; step 2: positioning the human body; step 3: obtaining skeleton information based on the above results; step 4: calculating head foot height difference HD, head foot height difference HP of front and rear frames and head height of front and rear frames according to skeleton information The speed V and shoulder width W corresponding to the degree difference; step 5: establish a judgment formula according to the above data, output the results, calculate the distance measurement error, and judge whether it meets the two classification conditions; if it meets the requirements, use the established neural network model for identification, if not, return to step 1; the invention first extracts the characters, then carries out the attitude recognition, and recognizes through the skeleton information Dynamic and static recognition can solve the problem of low recognition accuracy caused by local feature extraction and detection, and realize correct and rapid recognition of falls in the elderly.

【技术实现步骤摘要】
一种识别老年人跌倒的方法及陪伴机器人
本专利技术涉及摔倒姿态识别领域,尤其是一种识别老年人跌倒的方法及陪伴机器人。
技术介绍
随着我国科技、医疗的不断发展和进步,我国“老龄化”人口同步增长,养老已凸显为一个社会问题。到目前为止,我国老年化人口己远超世界平均水平。经综合联合国、国家人口计生委、全国老龄委以及部分学者对我国未来老龄化发展趋势的预测结果显示,2018年到2035年我国老年人口将年均增长一千万左右。目前,我国大众城市老年空巢家庭率已达到70%。这一数据正在急剧恶化。然而,中国养老产业尚处于起步阶段。我国的养老产业才刚起步,发展还处在初级阶段,特别是服务供给侧严重不足。传统的养老模式面临了巨大的挑战,新的养老服务模式的将会迎来前所未有的高速发展机遇。由于子女不可能一直陪在父母身边,当老人跌倒时,如果不能及时发现,将会导致很严重的后果。因此,对老人的跌倒行为及时检测并呼叫救援成为了迫切需要解决的问题。目前,老人跌倒行为检测方法主要采用可穿戴式传感设备,基于用户的行为数据和行为规律构建模型,基于多特征融合的视频监控等方法。这些检测方法对于老人来说,容易忘记佩戴设备,操作繁琐,实时性不高,且检测方法单一,容易出现误判。传统老年人姿态特征提取方法依赖于对图像中老年人身体局部特征识别,必须要求准确检测,当光线等环境噪声较大时,可能会导致提取局部特征不准确;姿态特征提取方法无法获取高维空间中密集采样信息,进行连续估计时会导致数据丢失,导致识别精度与识别连续性无法保证。因此,本申请为克服以上问题,提出一种识别老年人跌倒的方法及陪伴机器人。
技术实现思路
本专利技术的目的在于:本专利技术提供了一种识别老年人跌倒的方法及陪伴机器人,解决现有采用局部特征提取和检测导致识别准确率低的问题,实现在图像模糊、视频抖动和光线不佳等环境下能够正确、快速识别出老年人跌倒行为。本专利技术采用的技术方案如下:一种识别老年人跌倒的方法,包括如下步骤:步骤1:采集检测对象的身体视频数据;步骤2:利用YOVO算法通过距离度量进行人体定位获取人体图像定位检测结果;步骤3:基于人体图像定位检测结果,利用OPENPOSE算法检测身体视频数据中的关节点信息,并根据关节点信息采用VGGNET作为骨架,获取骨架信息;步骤4:根据骨架信息中的头部、脚部、颈部、肩膀信息计算头部和脚部高度差值hd、前后帧的头部和脚部高度差值hp、前后帧头部高度差值对应的速度v和肩膀宽度w;步骤5:根据上述数据建立判定公式,输出结果“摔倒”或者“未摔倒”,根据上述数据计算距离度量误差,判断距离度量误差是否满足二分类条件,若满足,则采用建立的神经网络模型进行识别,若否,则返至步骤1;判定公式如下:abs(head-foot)<abs(x2-x5)||abs(head_p-head)/abs(foot_p-foot)>2,其中,abs(head-foot)表示头部和脚部高度差绝对值,abs(x2-x5)表示肩宽绝对值,head_p、foot_p分别表示前一次头部质点位置和前一次脚部质点位置。优选地,所述步骤2中包括距离度量,其计算如下:d=(box,centroid)=1-IOU(box,centroid)其中,d表示跌倒的距离度量值,box表示预算的矩阵大小,centroid表示矩形框的中心坐标位置,IOU(box,centroid)表示定义的欧式距离公式,计算如下:其中,ρ表示(x1,y1)、(x2,y2)两点的欧式距离。优选地,所述步骤4包括如下步骤:步骤4.1:利用OPENPOSE算法检测身体视频数据中的关节点信息,OPENPOSE结果数据标准头部关键点序号为14、15、16、17,脚部关键点序号为10、13,左右肩部关键点序号为2、5;步骤4.2:计算头部的质点高度:head=average(y14,y15,y16,y17);步骤4.3:计算脚部质点位置:foot=average(y10,y13);步骤4.4:计算肩宽绝对值:w=abs(x2-x5);步骤4.5:计算头部与脚部的高度差值:d=abs(head-foot);步骤4.6:计算前后5帧头部高度差值对应的速度v,v=24*abs(head1-head)/5,其中,视频数据每一秒24帧计算,head1、head分别表示前一帧和当前帧头部质点高度。优选地,所述步骤5包括如下步骤:步骤5.1:利用OPENPOSE算法检测身体视频数据中的关节点信息,OPENPOSE结果数据标准头部关键点序号为14、15、16、17,脚部关键点序号为10、13,左右肩部关键点序号为2、5;计算头部的质点高度:head=average(y14,y15,y16,y17);计算脚部质点位置:foot=average(y10,y13);计算肩宽绝对值:w=abs(x2-x5);计算头部与脚部的高度差值:d=abs(head-foot);步骤5.2:判断d<w是否成立,若成立,则判定为横向摔倒;若否,则跳至步骤5.3;步骤5.3:建立判定公式:abs(head-foot)<abs(x2-x5)||abs(headp-head)/abs(foot_p-foot)>2,若判定值为true,则判定为摔倒,若判定值为flase,则判定为未摔倒;步骤5.4:计算距离度量误差m=abs(-hea-dfo,n=abs(head_p-head)-abs(foot_p-foot),则摔倒可能性权重值(m,n);步骤5.5:建立并训练神经网络模型,判断是否满足条件(mmin,nmin)<(m,n)<(mmax,nmax),若满足,则使用神经网络模型进行识别;若否,则返至步骤1;其中,mmin、nmin、mmax、nmax为已知的摔倒阈值。优选地,所述人体定位采用YOVOV3;所述神经网络模型包括依次连接的卷积层A、大小为2*2的池化层、卷积层B、ReLU激活函数层、全连接层和softmax函数分类层,所述神经网络模型的训练数据包括当前图像数据、前5帧人的状态和各关节点5帧内的运动速度。一种识别老年人跌倒的陪伴机器人,包括采集装置,用于采集检测对象行为、体态等视频信息、语音信息和图像信息后发送至GPU集群服务器和数据库;GPU集群服务器,对视频信息、图像信息和语音信息进行分析获取摔倒识别结果;数据库,用于存储采集的视频信息、图像信息和语音信息和分析后的摔倒识别结果;处理装置,用于调用数据库数据、接收摔倒识别结果进行显示、报警等动作。所述GPU集群服务器包括摔倒识别模块,所述摔倒识别模块包括形态采集单元,用于采集检测对象身体的视频数据;人体检测单元,用于利用YOVO算法进行人体检测获取人体检测结果;距离度量单元,用于计算检测对象和摔倒识别模块距离本文档来自技高网
...

【技术保护点】
1.一种识别老年人跌倒的方法,其特征在于:包括如下步骤:/n步骤1:采集检测对象的身体视频数据;/n步骤2:利用YOVO算法通过距离度量进行人体定位获取人体图像定位检测结果;/n步骤3:基于人体图像定位检测结果,利用OPENPOSE算法检测身体视频数据中的关节点信息,并根据关节点信息采用VGGNET作为骨架,获取骨架信息;/n步骤4:根据骨架信息中的头部、脚部、颈部、肩膀信息计算头部和脚部高度差值hd、前后帧的头部和脚部高度差值hp、前后帧头部高度差值对应的速度v和肩膀宽度w;/n步骤5:根据上述数据建立判定公式,输出结果“摔倒”或者“未摔倒”,根据上述数据计算距离度量误差,判断距离度量误差是否满足二分类条件,若满足,则采用建立的神经网络模型进行识别,若否,则返至步骤1;/n判定公式如下:abs(head-foot)<abs(x2-x5)||abs(head_p-head)/abs(foot_p-foot)>2,其中,abs(head-foot)表示头部和脚部高度差绝对值,abs(x2-x5)表示肩宽绝对值,head_p、foot_p分别表示前一次头部质点位置和前一次脚部质点位置。/n...

【技术特征摘要】
1.一种识别老年人跌倒的方法,其特征在于:包括如下步骤:
步骤1:采集检测对象的身体视频数据;
步骤2:利用YOVO算法通过距离度量进行人体定位获取人体图像定位检测结果;
步骤3:基于人体图像定位检测结果,利用OPENPOSE算法检测身体视频数据中的关节点信息,并根据关节点信息采用VGGNET作为骨架,获取骨架信息;
步骤4:根据骨架信息中的头部、脚部、颈部、肩膀信息计算头部和脚部高度差值hd、前后帧的头部和脚部高度差值hp、前后帧头部高度差值对应的速度v和肩膀宽度w;
步骤5:根据上述数据建立判定公式,输出结果“摔倒”或者“未摔倒”,根据上述数据计算距离度量误差,判断距离度量误差是否满足二分类条件,若满足,则采用建立的神经网络模型进行识别,若否,则返至步骤1;
判定公式如下:abs(head-foot)<abs(x2-x5)||abs(head_p-head)/abs(foot_p-foot)>2,其中,abs(head-foot)表示头部和脚部高度差绝对值,abs(x2-x5)表示肩宽绝对值,head_p、foot_p分别表示前一次头部质点位置和前一次脚部质点位置。


2.根据权利要求1所述的一种识别老年人跌倒的方法,其特征在于:所述步骤2中包括距离度量,其计算如下:
d=(box,centroid)=1-IOU(box,centroid)
其中,d表示跌倒的距离度量值,box表示预算的矩阵大小,centroid表示矩形框的中心坐标位置,IOU(box,centroid)表示定义的欧式距离公式,计算如下:



其中,ρ表示(x1,y1)、(x2,y2)两点的欧式距离。


3.根据权利要求1所述的一种识别老年人跌倒的方法,其特征在于:所述步骤4包括如下步骤:
步骤4.1:利用OPENPOSE算法检测身体视频数据中的关节点信息,OPENPOSE结果数据标准头部关键点序号为14、15、16、17,脚部关键点序号为10、13,左右肩部关键点序号为2、5;
步骤4.2:计算头部的质点高度:head=average(y14,y15,y16,y17);
步骤4.3:计算脚部质点位置:foot=average(y10,y13);
步骤4.4:计算肩宽绝对值:w=abs(x2-x5);
步骤4.5:计算头部与脚部的高度差值:d=abs(head-foot);
步骤4.6:计算前后5帧头部高度差值对应的速度v,v=24*abs(head1-head)/5,其中,视频数据每一秒24帧计算,head1、head分别表示前一帧和当前帧头部质点高度。


4.根据权利要求1所述的一种识别老年人跌倒的方法,其特征在于:所述步骤5包括如下步骤:
步骤5.1:利用OPENPOSE算法检测身体视频数据中的关节点信息,OPENPOSE结果数据标准头部关键点序号为14、15、16、17,脚部关键点序号为10、13,左右肩部关键点序号为2、5;
计算头部的质点高度:head=average(y14,y15,y16,y17);
计算脚部质点位置:foot=average(y10,y13);
计算肩宽绝对值:w=abs(x2-x5);
计算头部与脚部的高度差值:d=abs(head-foot);
步骤5.2:判断d<w是否成立,若...

【专利技术属性】
技术研发人员:王敏陈蕊汪依帆
申请(专利权)人:四川工商学院
类型:发明
国别省市:四川;51

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1