一种基于摄像头的心肺复苏按压动作评估方法与系统技术方案

本发明专利技术公开了一种基于摄像头的心肺复苏按压动作评估方法与系统，包括以下步骤：设计心肺复苏按压动作评估体系；设计基于关键点的心肺复苏按压动作序列识别算法；设计基于按压动作的心肺复苏评估算法；以及构建基于摄像头的心肺复苏按压动作评估系统。本发明专利技术解决了目前多人姿态估计算法在心肺复苏场景上存在的重复识别问题，成功将心肺复苏实施者和被抢救者的骨骼点分离，排除了被抢救者的关键点干扰，提高了关键点的精度；在安卓系统上开发心肺复苏按压动作评估系统，有利于病人的第一目击者在黄金四分钟内对病人实施心肺复苏，提高心肺复苏的成功率。心肺复苏的成功率。心肺复苏的成功率。

【技术实现步骤摘要】
一种基于摄像头的心肺复苏按压动作评估方法与系统


[0001]本专利技术涉及计算机视觉与医疗图像处理
，具体为一种基于摄像头的心肺复苏按压动作评估方法与系统。

技术介绍

[0002]心肺复苏技术(cardiopulmonary resuscitation CPR)是上世纪中期由捷克医生詹姆斯
·
埃兰和彼得
·
沙发共同研究专利技术的急救措施，由于简单有效，无数人因此获救，从而得到了大力推广。心肺复苏是通过按压胸部让学业重新流通，促进心脏恢复跳动，辅以人工呼吸，给脑部和其他器官供氧，从而达到抢救患者的目的。
[0003]2000年国际上制定了第一份心肺复苏指南，采用当时最新的技术和思想，经过长时间的临床试验得到的数据总结，因此是一部非常可靠的医学指导。2005年，在第一版心肺复苏指南的基础上，国际急救联系委员会和美国心脏协会重新修订出版了第二版心肺复苏指南，之后每五年，国际上都会对心肺复苏指南进行修订，使其更具有科学性和泛用性，迄今为止已经有五版。最新的2020版心肺复苏指南对胸外按压动作规定为一下几点：第一，胸骨下陷程度至少5厘米，不超过6厘米；第二，按压/放松时间比为1：1；第三，频率至少为100次每分钟，不超过120次每分钟。
[0004]心肺复苏是通过胸外按压动作挤压心脏，使血液恢复流动进而形成短暂的人工循环，以人工呼吸代替自然呼吸为辅助，为大脑以及人体其他器官提供氧气，从而实现抢救患者的目的。心脏骤停后的四分钟在医学上被称为“黄金四分钟”，因为如果在这四分钟内实施心肺复苏，抢救成功的概率高达60％以上。
[0005]目前我国医院之外的心肺复苏成功率仅有1％
‑
5％，比西方发达国家水平低了许多。归根结底，不仅是因为我国心肺复苏动作普及度太低和心肺复苏动作不规范，更是因为没有把握住心肺复苏的黄金四分钟，如果最早接触病人的第一批目击者比如病人的父母、朋友、同学、同事等能够掌握心肺复苏标准动作并实施救治，那么我国心肺复苏的成功率也会大大提高，因此而获救的病人将不计其数，对社会有着重大的意义。而随着人体姿态估计技术的发展，其对动作的识别精度逐渐提高，使用人体姿态估计技术来识别心肺复苏动作是否标准将是一个具有重大意义的课题。
[0006]人体姿态估计技术是指能够识别出给定的图像和视频中人体的骨骼关键点的位置，比如手腕、肘部、肩膀、眼睛、鼻子、耳朵等关键点，然后根据关键点信息和数据进行各种各样的计算和处理，从而得到人体的行为信息。姿态估计目前各领域有着广泛的应用，例如在运动识别、人机交互、智能照片编辑、行人追踪等领域。在心肺复苏领域，人体姿态估计能够得到手腕和肘部以及肩膀的关键点信息的特征，意味着其能够在视频中精确识别心肺复苏时实施者的手部位置，再对腕部关键点信息进行计算处理，从而可以判断心肺复苏实施者的动作是否标准，并对实施者的动作进行提示和改进。
[0007]人体姿态估计技术作为计算机视觉中的一个经典技术，将其应用于心肺复苏领域是一个重大的突破。本课题致力于研究出一套心肺复苏动作评估系统，能够提供标准的心
肺复苏动作指导，并且可以为当前心肺复苏动作提供实时反馈，便于心肺复苏实施者进行动作的调整。从社会角度来看，本研究有利于病人的第一目击者在黄金四分钟内对病人实施心肺复苏，提高心肺复苏的成功率，配合之后手术抢救，从而减少因心脏骤停或者呼吸骤停而倒地的病人的死亡率，挽救更多因未及时救治而死亡的生命，保障社会上群众的生命安全，减少工人猝死的风险，对社会有着重大且积极的意义。

技术实现思路

[0008]针对上述问题，本专利技术的目的在于提供一种基于摄像头的心肺复苏按压动作评估方法与系统，使用多人姿态估计算法得到心肺复苏实施者手部和肩部的骨骼关键点，同时排除场景中被抢救者的身体部位骨骼关键点的干扰，提高了关键点的精度，有利于对心肺复苏动作进行客观的评估。技术方案如下：
[0009]一种基于摄像头的心肺复苏按压动作评估方法，包括以下步骤：
[0010]步骤1：设计心肺复苏按压动作评估体系
[0011]对按压频率、按压幅度和按压放松比三项指标进行量化和等级的划分，构建客观的按压动作评估体系，再根据按压动作的各个指标位于体系中的等级进行打分，得到这三项指标各自的分数，并根据重要程度对其赋予不同的权重，加权平均的得到最终分数；
[0012]步骤2：设计基于关键点的心肺复苏按压动作序列识别算法
[0013]构建一个对称空间变换网络，将其部署于单人姿态估计网络的前后，然后设置一个平行的单人姿态估计网络，用于优化空间变换网络；然后使用非极大值抑制和基于K
‑
means的关键点优化算法将心肺复苏实施者和按压者的关键点分离，以消除动作冗余；
[0014]步骤3：设计基于按压动作的心肺复苏评估算法
[0015]在得到经过优化处理的关键点数据后，提取出腕部、肘部和肩部的关键点，通过按压者的身体比例计算出实际臂长，通过腕部、肘部和肩部的关键点计算出视频中的臂长，通过其比值得到视频中按压幅度和实际按压幅度的比例；然后提取出动作序列中腕部关键点的极大极小值，计算出按压频率、按压幅度和按压放松比三个评估指标，再根据评估体系对其进行评估并进行打分。
[0016]进一步的，所述步骤1中，设置满分为100分，共设置的5个分数段，得到这三项指标各自的分数后，通过加权平均得到最终分数的公式如下：
[0017]W＝0.4*w1+0.4*w2+0.2*w3[0018]其中，W表示总分数，w1表示频率得分，w2表示平均振幅得分，w3表示按压放松比得分，三种得分分别以权重0.4、0.4、0.2相加，总分超过60即可算本次心肺复苏有效。
[0019]更进一步的，所述步骤2具体包括：
[0020]步骤2.1：通过人体检测器得到人体区域，然后将人体区域图像输入STN+SPPE模块，检测出人体姿态，并输入平行的单人姿态估计网络，提高姿态估计的效果
[0021]对称空间变换网络包括空间变换网络和空间反变换网络结构；空间变换网络自动选取感兴趣的区域，如下式所示：
[0022][0023]其中，θ1、θ2和θ3是二维向量，{x
is
,y
is
}和{x
it
,y
it
}分别表示转换前后像素点的坐标；
[0024]单人姿态估计网络处理结束时，姿态被映射到人体区域，空间反变换网络将其反映射回原坐标，如下式所示：
[0025][0026]其中，γ1、γ2、γ3为逆仿射变换系数；
[0027]已知空间反变换网络是空间变换网络的反向结构，则得以下关系：
[0028][γ
1 γ2]＝[θ
1 θ2]‑1[0029]γ3＝
‑1×
[γ
1 γ2]θ3[0030]通过在空间反变换网络中反向传播，被分解为下式：
[0031][0032][0033]其中，J(W,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于摄像头的心肺复苏按压动作评估方法，其特征在于，包括以下步骤：步骤1：设计心肺复苏按压动作评估体系对按压频率、按压幅度和按压放松比三项指标进行量化和等级的划分，构建客观的按压动作评估体系，再根据按压动作的各个指标位于体系中的等级进行打分，得到这三项指标各自的分数，并根据重要程度对其赋予不同的权重，加权平均的得到最终分数；步骤2：设计基于关键点的心肺复苏按压动作序列识别算法构建一个对称空间变换网络，将其部署于单人姿态估计网络的前后，然后设置一个平行的单人姿态估计网络，用于优化空间变换网络；然后使用非极大值抑制和基于K
‑
means的关键点优化算法将心肺复苏实施者和按压者的关键点分离，以消除动作冗余；步骤3：设计基于按压动作的心肺复苏评估算法在得到经过优化处理的关键点数据后，提取出腕部、肘部和肩部的关键点，通过按压者的身体比例计算出实际臂长，通过腕部、肘部和肩部的关键点计算出视频中的臂长，通过其比值得到视频中按压幅度和实际按压幅度的比例；然后提取出动作序列中腕部关键点的极大极小值，计算出按压频率、按压幅度和按压放松比三个评估指标，再根据评估体系对其进行评估并进行打分。2.根据权利要求1所述的基于摄像头的心肺复苏按压动作评估方法，其特征在于，所述步骤1中，设置满分为100分，共设置的5个分数段，得到这三项指标各自的分数后，通过加权平均得到最终分数的公式如下：W＝0.4*w1+0.4*w2+0.2*w3其中，W表示总分数，w1表示频率得分，w2表示平均振幅得分，w3表示按压放松比得分，三种得分分别以权重0.4、0.4、0.2相加，总分超过60即可算本次心肺复苏有效。3.根据权利要求1所述的基于摄像头的心肺复苏按压动作评估方法，其特征在于，所述步骤2具体包括：步骤2.1：通过人体检测器得到人体区域，然后将人体区域图像输入STN+SPPE模块，检测出人体姿态，并输入平行的单人姿态估计网络，提高姿态估计的效果对称空间变换网络包括空间变换网络和空间反变换网络结构；空间变换网络自动选取感兴趣的区域，如下式所示：其中，θ1、θ2和θ3是二维向量，{x
is
,y
is
}和{x
it
,y
it
}分别表示转换前后像素点的坐标；单人姿态估计网络处理结束时，姿态被映射到人体区域，空间反变换网络将其反映射回原坐标，如下式所示：其中，γ1、γ2、γ3分别为逆仿射变换系数；已知空间反变换网络是空间变换网络的反向结构，则得以下关系：
[γ
1 γ2]＝[θ
1 θ2]
‑1γ3＝
‑1×
[γ
1 γ2]θ3通过在空间反变换网络中反向传播，被分解为下式：被分解为下式：其中，J(W,b)表示STN网络的输出；θ表示仿射变换系数；对人体区域使用单人姿态估计网络算法进行姿态估计，得到高质量的关键点；步骤2.2：得到姿态关键点数据后，将其输入PP
‑
NMS模块处理，解决人体冗余问题；采用AlphaPose算法提出新的距离度量，如下式所示：f(P
i
,P
j
|Λ,η)＝1[d(P
i
,P
j
|Λ,η)≤η]其中，η表示消除标准的阈值，Λ表示函数d的一个参数集合；P
i
和P
j
分别表示第i个和第j个姿势；如果d小于阈值η，那么f(P
i
,P
j
|Λ,η)的输出就是1，表示姿态为冗余姿态，需要被消除；在姿态距离上，定义一个软匹配函数如下式所示：其中，表示第i个姿势的识别框；σ1表示姿态距离系数；和分别表示第i个姿势和第j个姿势的置信度分数；表示第j个姿势的识别框中心；使用双曲正切函数将置信度比较低的姿势筛选出来，有且仅有两个姿势都是高置信度姿势时，函数输出才为1；而空间距离如下：其中，σ2表示空间距离系数；表示第i个部位的位置；因此定义最终距离为：d(P
i
,P
j
|\Λ)＝K
Sim
(P
i
,P
j
|σ1)+λH
Sim
(P
i
,P
j
|σ2)其中，λ位权重系数，代表两种距离度量重要性不同；步骤2.3：通过K均值聚类处理，解决重复识别的问题学习分布P(δB|atom(P))，其中atom(P)表示P的原子姿势，由K均值聚类算法得到；使用基于K
‑
means的关键点优化算法，对姿态估计模块输出的姿态估计图中的人体骨骼关键点进行聚类和分析，从而达到消除重复识别的目的；设定聚类的类簇数量k为2，采用欧氏距离公式来计算空间距离，根据下式进行计算：
其中，dist
ed
(x
q
,C
o
)表示x

【专利技术属性】
技术研发人员：杨路，郭政阳，袁双杰，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：