使用神经网络对心率和呼吸速率进行联合估计制造技术

本发明专利技术涉及使用神经网络对心率和呼吸速率进行联合估计。神经网络系统充分利用双重注意力，特别是空间注意力和通道注意力两者，通过处理受试者的图像来联合估计受试者的心率和呼吸速率。运动神经网络接收受试者的图像，并使用空间和通道域注意力掩码估计受试者的心率和呼吸速率，以集中处理特定的特征数据。外观神经网络从受试者的图像计算空间注意力掩码，并可以表明与受试者的面部(而不是受试者的头发或肩膀)相关的特征，来准确估计心率和/或呼吸速率。逐通道域注意力在训练期间被学习并重新校准逐通道域特征反应来选择信息量最大的特征进行处理。通道注意力掩码在训练中被学习并且在部署过程中可用于不同的受试者。者。者。

【技术实现步骤摘要】
使用神经网络对心率和呼吸速率进行联合估计

技术介绍

[0001]心率和呼吸速率测量是诊断许多疾病和状况的至关重要的步骤。与手指血氧仪等接触式仪器相比，基于非接触式相机的生理测量因为非接触式方法减少感染的风险在远程医疗中往往更容易获得且更方便。然而，由于环境光照变化、头部运动、面部表情等因素，远程生理信号测量正具有挑战性。存在解决与现有技术关联的这些问题和/或其他问题的需求。

技术实现思路

[0002]本公开的实施例涉及用于改进联合心率和呼吸速率估计的技术。所公开的系统和方法提供了用于估计心率和呼吸(例如，气息)率的神经网络系统，其与传统系统相比具有更高的准确性，并降低了系统复杂性和延迟。该神经网络系统充分利用双重注意力，特别是空间注意力和通道注意力两者，通过处理受试者的视频来联合估计受试者的心率和呼吸速率。
[0003]根据实施例，检测网络受试者的图像序列和图像的时间戳。使用受试者的检测网络生成边界框和受试者特征或地标(例如面部特征)。从相邻或接近相邻的帧的边界框生成编码帧之间的特征的移动的运动地图。从图像序列生成外观地图，外观地图编码受试者的外观(例如，作为像素位置的颜色值的平均值)和皮肤分割掩码(包括描述受试者皮肤的图像中的区域的二进制语义掩码)。使用外观地图和皮肤分割掩码，外观神经网络从受试者的图像计算空间注意力掩码，该掩码可以表明与受试者面部相关的特征(而不是受试者的头发或肩膀)，用于精确估计与受试者面部的特征对应的像素的位置。运动神经网络使用运动地图和图像序列来估计图像中受试者的心率和呼吸速率。空间注意力掩码被提供给运动网络，以引导运动神经网络的焦点，从而产生比传统系统更准确、更高精确和更高效的结果。与传统系统(如上述系统)相比，通过在空间域和逐通道域两者中应用注意力机制来提高估计的准确性。空间域注意力增强了空间编码，其定位了包含强烈生理信号反应的面部区域。逐通道域注意力重新校准逐通道特征反应来选择信息量最大的的特征。通道注意力掩码在训练中被学习，并在部署过程中可用于不同的受试者。
[0004]在一实施例中，神经网络系统基于心律和呼吸速率之间的相关性来学习估计心律和呼吸速率。在一实施例中，当空间注意力基于识别包括面部皮肤(额头、脸颊和鼻子)、颈部和胸部的区域的皮肤分割掩码来提供用于估计心率和呼吸速率的额外数据(例如，血液循环)时，神经网络系统的准确性得到提高。
[0005]公开了一种方法、计算机可读介质和系统，用于联合估计受试者的心率或呼吸速率中的至少一个。在一实施例中，受试者的图像序列由运动神经网络模型的层处理，以产生沿两个空间维度的特征向量的通道，并将经学习的通道注意力掩码应用于特征向量的通道，来联合产生受试者的估计心率或估计呼吸速率中的至少一个。
附图说明
[0006]下面参考附图详细描述本专利技术用于联合心率和呼吸速率估计的系统和方法，其中：
[0007]图1A图示了适合用于实现本公开的一些实施例的示例联合心率和呼吸速率估计网络系统的框图。
[0008]图1B图示了适合用于实现本公开的一些实施例的空间注意力地图。
[0009]图1C图示了根据一个实施例的用于联合心率和呼吸速率估计的方法的流程图。
[0010]图2A图示了适合用于实现本公开的一些实施例的另一联合心率和呼吸速率估计网络系统的框图。
[0011]图2B图示了根据一个实施例的、另一用于联合心率和呼吸速率估计的方法的流程图。
[0012]图2C图示了适合用于实现本公开的一些实施例的心率和呼吸速率之间的频率关系。
[0013]图2D图示了适合用于实现本公开的一些实施例的心率和呼吸速率之间的比率分布。
[0014]图3A图示了适合用于实施本公开的一些实施例的联合心率和呼吸速率估计网络系统的训练配置的框图。
[0015]图3B图示了适合用于实现本公开的一些实施例的联合心率和呼吸速率估计网络系统的训练方法的另一流程图。
[0016]图4图示了适合用于实现本公开的一些实施例的示例并行处理单元。
[0017]图5A为适合用于实现本公开的一些实施例的、使用图4的PPU实现的处理系统的概念图。
[0018]图5B图示了其中可以实现各种先前实施例的各种架构和/或功能的示例性系统。
[0019]图5C图示了在至少一个实施例中可用于训练和利用机器学习的示例性系统的组件。
[0020]图6图示了适合用于实现本公开的一些实施例的示例性流式系统。
具体实施方式
[0021]公开了与联合心率和呼吸速率估计网络有关的系统和方法。特别是在汽车、医疗保健和游戏环境中，有许多心率和/或呼吸速率估计的用例。在汽车环境中，心率和呼吸速率估计可用于监测操作员的压力、疲劳或无能力。基于这些估计可以启动最低风险的操作(例如，改变音乐、修改制动设置、靠边停车、紧急呼叫等)。心率和呼吸速率估计也可用于执行儿童存在检测。在游戏环境中，心率和呼吸速率估计可用于测量用户的参与和/或兴奋程度。在医疗保健环境中，心率和呼吸速率估计可用于远程医疗或无接触现场筛查。
[0022]基于非接触式相机的生理学测量是一个活跃的研究领域，特别是在大流行病和日益普及的远程医疗期间引起了极大的关注。基于非接触式相机的生理测量降低感染风险，并实现远程医疗和远程健康监测。基于相机的生理测量的基本原理是捕捉不易察觉的皮肤颜色变化或由血液循环和呼吸运动引起的不易察觉运动。皮肤颜色的变化和运动对应于光反射的变化。成像技术通过捕捉由于血液流动和呼吸过程中引起的不易察觉的皮肤颜色和
运动变化来测量皮肤表面的血液的体积变化。
[0023]成像光电容积脉搏波描记法(iPPG)和远程光电容积脉搏波描记法(rPPG)技术是基于对皮肤反射光的不易察觉变化的测量。图像心冲击描记法(iBCG)技术是基于测量血液在身体周围泵送的机械力而引起的不易察觉运动。心率和呼吸速率都可以用iPPG、rPPG和/或基于iBCG的方法来恢复。由于血液循环引起的皮肤颜色变化和运动可能非常不易察觉，以至于很容易被环境光照变化、头部运动、面部表情等破坏，因此基于相机的心率和呼吸速率估计正具有挑战性。
[0024]对于模型的理论光学原理，谢弗(Shafer)的二色反射模型(DRM)可用于模拟照明反射和生理信号。图像中第k个皮肤像素的RGB颜色(红、绿、蓝)值可以由时变函数来定义：
[0025]C
k
(t)＝I(t)
·
v
s
(t)+v
d
(t)+v
n
(t)
ꢀꢀꢀ
公式(1)
[0026]I(t)＝I0·
(1+Ψ(m(t)，Θ(b(t)，r(t))))
[0027]v
s
(t)＝(u
s
·
(s0+Φ(m(t)，Θ(b(t)，r(t))))
[0028]v
d
(t)＝(u
d
·
d0+u<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，用于估计受试者的心率或呼吸速率中的至少一个，包括：由运动神经网络模型的层处理所述受试者的图像序列，以产生沿两个空间维度的特征向量的通道；以及将经学习的通道注意力掩码应用于所述特征向量的通道，以生成所述受试者的估计心率或估计呼吸速率中的至少一个。2.根据权利要求1所述的计算机实现的方法，其中该处理包括在所述运动神经网络的两个或更多个层之间应用至少一个空间注意力掩码。3.根据权利要求2所述的计算机实现的方法，进一步包括由注意力神经网络处理所述序列中至少一个图像的外观地图和皮肤分割掩码，来计算所述至少一个空间注意力掩码。4.根据权利要求3所述的计算机实现的方法，其中所述注意力神经网络在所述注意力神经网络的两个或更多个层之间应用至少一个外观通道注意力掩码，来计算所述至少一个空间注意力掩码。5.根据权利要求3所述的计算机实现的方法，其中所述外观地图包括所述受试者的每个图像的一部分，该部分包括受试者的面部、颈部和胸部区域。6.根据权利要求3所述的计算机实现的方法，其中所述皮肤分割掩码包括从所述受试者的每个图像中的背景、头发、眼睛、眉毛和胡须区域分别识别包括所述受试者的每个图像中的额头、脸颊、鼻子、颈部和胸部区域的面部皮肤的分割掩码。7.根据权利要求1所述的计算机实现的方法，其中在卷积层和池化层之间应用所述至少一个外观通道注意力掩码。8.根据权利要求1所述的计算机实现的方法，其中所述图像序列中的每个图像被接收的帧速率是可变的，并且所述处理包括基于所述帧速率调整所述估计心率或所述估计呼吸速率中的至少一个。9.根据权利要求1所述的计算机实现的方法，其中所述图像序列中的一个或更多个图像被压缩。10.根据权利要求9所述的计算机实现的方法，其中所述一个或更多个图像以不同的水平被压缩。11.根据权利要求1所述的计算机实现的方法，进一步包括：确定所述估计心率和所述估计呼吸速率的比率超出预定的有效范围，并丢弃所述估计心率和所述估计呼吸速率。12.根据权利要求1所述的计算机实现的方法，其中由所述运动神经网络模型的层应用参数，并进一步包括调整所述参数来减少实况心率或呼吸速率与所述估计心率或所述估计呼吸速率之间的差异。13.根据权利要求1所述的计算机实现的方法，其中由所述运动神经网络模型的层应用参数，并进一步包括调整所述参数来减少所述估计心率和所述估计呼吸速率的估计比率与实况比率范围之间的差异。14.根据权利要求1所述的计算机实现的方法，其中由所述运动神经网络模型的层应用参数，并进一步包括：调整所述参数来增加所述估计心率和所述估计呼吸速率之间的相关性，以与心...

【专利技术属性】
技术研发人员：任育卓，N，
申请(专利权)人：辉达公司，
类型：发明
国别省市：