基于深度卷积网络的跌倒检测方法技术

本发明专利技术提供一种基于深度卷积网络的跌倒检测方法。该方法包括：步骤1、根据单目摄像头采集的图像，采用深度卷积网络计算图像中待检测对象的身体关节置信图；步骤2、采用双向图结构信息模型计算身体关节置信图中所有身体部位的最优姿态配置集合，所述最优姿态配置集合用于表示各身体部位与预设水平位置之间的距离；步骤3、根据各身体部位与预设水平位置之间的距离，判断所述待检测对象是否跌倒。本发明专利技术采用多阶段深度卷积网络对图像进行分析，更好的提取图像的特征信息，降低了运行时间，提高了检测精度。

【技术实现步骤摘要】
基于深度卷积网络的跌倒检测方法
本专利技术涉及计算机视觉及深度学习
，尤其涉及基于深度卷积网络的跌倒检测方法。
技术介绍
跌倒是致命伤害的重要原因，尤其是对老年人来说，并且对其独立生活造成严重障碍。因此，由于老年人数量的快速增长，医疗保健行业对监测系统的需求增加，特别是对跌倒检测系统的需求增加。最近，跌倒检测方法主要分为三大类：基于可穿戴设备的、基于环境设备的检测方法和基于视觉的方法。基于可穿戴设备的方法依靠具有嵌入式传感器的服装来检测对象身体的运动和位置；基于环境设备的检测方法试图通过振动数据来融合音频和视觉数据以及事件感测。大多数基于环境设备的检测方法使用压力传感器进行物体检测和跟踪。然而，它有一个很大的缺点，即检测物体内部和周围物体的压力，并在跌倒检测的情况下产生误报，这导致检测精度低。
技术实现思路
本专利技术提供一种基于深度卷积网络的跌倒检测方法，只是用一个单目摄像头获取图像，成本低；并且通过计算图像中待检测对象的身体关节置信图，获取更多图像的特征信息，提高了跌倒检测的精度。本专利技术提供一种基于深度卷积网络的跌倒检测方法，该方法包括：步骤1、根据单目摄像头采集的图像，采用深度卷积网络计算图像中待检测对象的身体关节置信图；步骤2、采用双向图结构信息模型计算身体关节置信图中所有身体部位的最优姿态配置集合，所述最优姿态配置集合用于表示各身体部位与预设水平位置之间的距离；步骤3、根据各身体部位与预设水平位置之间的距离，判断所述待检测对象是否跌倒。进一步地，所述步骤1中的身体关节置信图c(x)根据下式确定；其中，x表示图像中待检测关节点的预测位置，s代表图像中待检测关节点的周围场景，P(x|c(z),s)是用于表示位置x与其上下文位置z之间的空间关系的条件概率，P(c(z)|s)是上下文位置z的先验概率，Xc＝{c(z)＝(I(z),z)|z∈Ωc(x*)}，I(z)代表图像中上下文位置z的图像强度，Ωc(x*)是待检测关节点真实位置x*的邻域。进一步地，所述位置x与其上下文位置z之间的空间关系P(x|c(z),s)根据下式P(x|c(z),s)＝hsc(x-z)确定；b为归一化参数，β为形状参数，I(x)代表图像中位置x的图像强度，α和σ为尺度参数。进一步地，所述上下文位置z的先验概率P(c(z)|s)根据下式P(c(z)|s)＝I(z)wσ(z-x*)确定；其中，其中，a是归一化参数。进一步地，所述步骤2具体包括：步骤21、计算身体关节置信图中每个身体部位i的出度n，并生成与身体部位i相连接的n-1个虚拟身体部位，将每个身体部位i的上下文边展开形成第一身体树模型和第二身体树模型，所述第一身体树模型中各身体部位按照第一信息流方向传递信息，所述第二身体树模型中各身体部位按照第二信息流方向传递信息，所述第一信息流方向和所述第二信息流方向互为反方向；步骤22、分别在第一身体树模型和第二身体模型中各自选取L个假设根节点，根据任一身体树模型中各身体部位的遮挡状态、各身体部位的位置和每两个身体部位之间的相对位置关系，确定待观测对象在L个假设根节点下的L个姿态配置集合φ；步骤23、根据下式对所述L个姿态配置集合φ进行评分，其中，F(I,φ)表示第一信息流方向的信息流分数函数，F'(I,φ)表示第二信息流方向的信息流分数函数；步骤24、选取评分最高的姿态配置集合φm作为最优姿态配置集合。进一步地，所述第一信息流方向的信息流分数函数F(I,φ)根据下式确定；其中，V表示身体部位集合，εK表示相邻身体部位之间的附加约束集，εC表示非相邻身体部位之间的附加约束集，Ui(φ)表示身体部位i的外观分数，表示附加约束集εK中身体部位i,j之间的变形分数，表示附加约束集εC中身体部位i,j之间的变形分数。进一步地，所述身体部位i的外观分数Ui(φ)根据下式Ui(φ)＝wif(i|I(pi)；θ)·L(oi)+bi(oi)确定；其中wi表示身体外观权重参数，f(i|I(pi)；θ)表示身体部位i所在位置pi处的图像块I(pi)的图像信息，θ表示卷积神经网络的参数，bi(oi)表示遮挡状态oi的偏置项，L(oi)表示遮挡状态oi的指示函数。进一步地，所述附加约束集εK中身体部位i,j之间的变形分数根据下式确定；其中tij,tji表示身体部位i和身体部位j的相对位置关系，表示空间关系类型tij的相对位置，表示空间关系类型tji的相对位置，wij，wji是空间关系类型的权重参数，是身体部位i相对于身体部位j作用的权重,是身体部位j相对于身体部位i作用的权重，是解码身体部位i和身体部位j遮挡状态的偏置项，μ(△p＝(pi-pj)＝[△x-△y])＝[△x,△x2,△y,△y2]T是身体部位相对位置之间的二次函数，其中，pi＝(xi,yi)，pj＝(xj,yj)。进一步地，所述附加约束集εC中身体部位i,j之间的变形分数根据下式确定。进一步地，所述步骤3具体包括：步骤31、将各身体部位与预设水平位置之间的距离值与人体最大厚度进行比较，确定距离值小于人体最大厚度的身体部位个数；步骤32、若判断获知所述身体部位个数大于2且小于7，则所述待检测对象有跌倒趋势；步骤33、若判断获知所述身体部位个数不小于7，则所述待检测对象已跌倒。本专利技术的有益效果：本专利技术提供的基于深度卷积网络的跌倒检测方法及装置，由于只需要一个单目摄像头获取输入图像，相对深度摄像头来说成本低；用多阶段深度卷积网络对其进行分析，在网络框架提出的双向图结构信息模型能够更好的获取上下文信息，有助于解决遮挡关系，更准确的获取检测对象各身体部位的位置，并且在双向图结构信息模型中选取置信图响应最高的点为基点(获取的信息最可靠)，有助于信息更好的传递。本专利技术提出的网络框架分为三阶段，为了降低复杂度将双向图结构信息模型也分成了三个阶段，降低了计算复杂度和节省了运行时间。附图说明图1为本专利技术实施例提供的深度卷积网络的网络框架示意图；图2为本专利技术实施例提供的基于深度卷积网络的跌倒检测方法的流程示意图；图3为本专利技术实施例提供的双向图结构信息模型在每个阶段的工作进程示意图；图4为本专利技术实施例提供的采用双向图结构信息模型生成身体树模型的示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的深度卷积网络的网络框架示意图；如图1所示，所述深度卷积网络分为三个阶段，并且每个阶段具有两个分支：第一分支(JOINTS)用于预测各身体部位所对应的置信图；第二分支(BGSIM)通过将双向图结构信息模型融合到卷积层里面从而预测各身体部位之间的遮挡关系。并且，每个分支均为迭代预测结构。在每个阶段，我们使用JOINTS的预测和之前阶段的BGSIM的预测作为新阶段BGSIM的输入。图2为本专利技术实施例提供的基于深度卷积网络的跌倒检测方法的流程示意图。如图2所示，该方法包括以下步骤：S201、根据单目摄像头采集的图像，采用深度卷积网络计算图像中待检测本文档来自技高网...

【技术保护点】
1.基于深度卷积网络的跌倒检测方法，其特征在于，包括：步骤1、根据单目摄像头采集的图像，采用深度卷积网络计算图像中待检测对象的身体关节置信图；步骤2、采用双向图结构信息模型计算身体关节置信图中所有身体部位的最优姿态配置集合，所述最优姿态配置集合用于表示各身体部位与预设水平位置之间的距离；步骤3、根据各身体部位与预设水平位置之间的距离，判断所述待检测对象是否跌倒。

【技术特征摘要】
1.基于深度卷积网络的跌倒检测方法，其特征在于，包括：步骤1、根据单目摄像头采集的图像，采用深度卷积网络计算图像中待检测对象的身体关节置信图；步骤2、采用双向图结构信息模型计算身体关节置信图中所有身体部位的最优姿态配置集合，所述最优姿态配置集合用于表示各身体部位与预设水平位置之间的距离；步骤3、根据各身体部位与预设水平位置之间的距离，判断所述待检测对象是否跌倒。2.根据权利要求1所述的方法，其特征在于，所述步骤1中的身体关节置信图c(x)根据下式确定；其中，x表示图像中待检测关节点的预测位置，s表示图像中待检测关节点的周围场景，P(x|c(z),s)是用于表示位置x与其上下文位置z之间的空间关系的条件概率，P(c(z)|s)是上下文位置z的先验概率，Xc＝{c(z)＝(I(z),z)|z∈Ωc(x*)}，I(z)代表图像中上下文位置z的图像强度，Ωc(x*)是待检测关节点真实位置x*的邻域。3.根据权利要求2所述的方法，其特征在于，所述位置x与其上下文位置z之间的空间关系P(x|c(z),s)根据下式P(x|c(z),s)＝hsc(x-z)确定；b为归一化参数，β为形状参数，I(x)代表图像中位置x的图像强度，α和σ为尺度参数。4.根据权利要求3所述的方法，其特征在于，所述上下文位置z的先验概率P(c(z)|s)根据下式P(c(z)|s)＝I(z)wσ(z-x*)确定；其中，a是归一化参数。5.根据权利要求2所述的方法，其特征在于，所述步骤2具体包括：步骤21、计算身体关节置信图中每个身体部位i的出度n，并生成与身体部位i相连接的n-1个虚拟身体部位，将每个身体部位i的上下文边展开形成第一身体树模型和第二身体树模型，所述第一身体树模型中各身体部位按照第一信息流方向传递信息，所述第二身体树模型中各身体部位按照第二信息流方向传递信息，所述第一信息流方向和所述第二信息流方向互为反方向；步骤22、分别在第一身体树模型和第二身体模型中各自选取L个假设根节点，根据任一身体树模型中各身体部位的遮挡状态、各身体部位的位置和每两个身体部位之间的相对位置关系，确定待观测对象在L个假设根节点下的L个姿态配置集合φ；步骤23、根据下式对所述L个姿态配置集合φ进行评分，...

【专利技术属性】
技术研发人员：王菁，周兵，吕培，
申请(专利权)人：郑州大学，
类型：发明
国别省市：河南,41