一种云边端协同智能婴儿护理系统及方法技术方案

本发明专利技术公开了一种云边端协同智能婴儿护理系统及方法，其中系统包括：传感器模块，用于采集婴儿床上的图像信息和声音信息；边缘设备，用于根据采集的图像信息和声音信息进行哭声识别以及体征识别；云端设备，用于对检测模型进行训练以及更新，以及根据识别结果输出提示信息；其中，采用跨边云的协同框架来实现边缘端与云端设备之间的应用管理、外设管理、部署以及通信。本发明专利技术在边缘与云端之间进行协同，合理优化任务分配策略，拆解智能算法，利用云端强大的计算能力承担公共的计算任务，减轻边缘的计算压力，满足智能算法、算力需求。本发明专利技术可广泛应用于婴儿监护技术领域。明可广泛应用于婴儿监护技术领域。明可广泛应用于婴儿监护技术领域。

【技术实现步骤摘要】
一种云边端协同智能婴儿护理系统及方法


[0001]本专利技术涉及婴儿监护
，尤其涉及一种云边端协同智能婴儿护理系统及方法。

技术介绍

[0002]每年都有成千数万名婴儿突然的意外死亡，其中婴儿猝死综合症(又称摇篮死亡)仍然是导致全球婴儿死亡的主要因素。最常见的原因是床上用品阻塞了婴幼儿的呼吸道和监护者身体压到婴儿身上导致婴儿窒息死亡。为了降低婴儿睡眠相关的死亡风险，美国儿科学会发表的最新申明指出，婴儿出生第一年应与父母睡在同一房间，但婴儿应睡在自己的空间里(婴儿床)。近年来，随着深度学习和物联网等前沿技术的快速发展，智能化已成为婴儿床市场新趋势。一般来说，智能婴儿床在在传统婴儿床的基础上，附加了监控护理功能，可以实时监控婴儿在智能婴儿床上的状态，帮助监护人实时了解婴儿动态。
[0003]然而，现有智能婴儿床产品大多基于传感器采集信息进行简单的信息处理和逻辑判断，难以识别和应对复杂场景，无法满足现实场景下的婴儿看护需求。为了解决上述问题，部分产品尝试利用深度学习算法实现智能感知与决策，但是深度学习算法的资源需求大，婴儿床等边缘设备处理能力往往受限于计算资源难以满足。而且智能任务需求多样，包括数据采集、预处理、计算、控制和反馈等，边缘端设备往往仅具有单一能力，极大约束了智能化设备的广泛应用。为了寻求更高的算力解决，部分产品使用云端服务器进行推理，然而云端设备实时性不够，带宽不足，能耗较大，不利于数据安全和隐私。

技术实现思路

[0004]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种云边端协同智能婴儿护理系统及方法。
[0005]本专利技术所采用的技术方案是：
[0006]一种云边端协同智能婴儿护理系统，包括：
[0007]传感器模块，用于采集婴儿床上的图像信息和声音信息；
[0008]边缘设备，用于根据采集的图像信息和声音信息进行哭声识别以及体征识别，其中体征识别包括心率与呼吸频率测量、口鼻遮掩检测、身高测量、骨架识别或体温检测中的至少一种；
[0009]云端设备，用于对检测模型进行训练以及更新，以及根据识别结果输出提示信息；
[0010]其中，采用跨边云的协同框架来实现边缘端与云端设备之间的应用管理、外设管理、部署以及通信。
[0011]进一步地，所述哭声识别和体征识别采用神经网络模型来实现；边缘设备和云端设备通过参数共享和裁剪的方式，减少对任务不敏感的模型参数，从而降低模型存储和通信开销、减少网络规模和降低算力需求；
[0012]在网络通信良好的情况下，神经网络模型将会被分割，先由云端设备执行模型前
端的计算任务，然后云端设备将中间结果传输给边缘设备，由边缘端执行剩下的检测工作，得出最终结果；
[0013]在网络通信不好的情况下，边缘端承担任全部的检测工作，以确保能够实时、快速地获得最终结果；
[0014]此外，云端设备还会根据边缘设备上传的数据来训练模型，并更新边缘设备上的模型；边缘设备根据传感器采集到的信息，使用最新的模型执行检测任务。
[0015]进一步地，所述传感器模块包括红外摄像头、RGB摄像头、热传感器和麦克风。
[0016]进一步地，根据声音信息进行哭声识别的具体步骤如下：
[0017]对声音信息进行预处理，获取音频信号；
[0018]对音频信息进行重采样以及提取特征，根据提取的特征和预设的支持向量机进行分类识别，获得识别结果；所述识别结果包括婴儿哭声、安静场景、嘈杂场景和婴儿笑声；
[0019]所述支持向量机通过以下方式获得；
[0020]获取数据集，对数据集进行重采样，并进行特征提取；其中，提取的特征包括梅尔频率倒谱系数、频谱滚降点、频谱质心、过零率、频谱频宽、均方根能量；
[0021]根据提取的特征拟合获得支持向量机。
[0022]进一步地，所述频谱质心定义如下：
[0023]C＝Σ
k
S
k
f
k
/Σ
k
S
k
[0024]频谱频宽表示二阶频谱频宽，定义如下：
[0025][0026]其中，S
k
表示第k个窗口的频谱，f
k
表示频谱第k数据点对应的频率。
[0027]进一步地，云端设备是一台带有高性能计算设备的Linux操作系统的服务器，边缘端设备是一台装有一系列传感器的嵌入式设备；
[0028]通过以下方式采集获取声音信息：
[0029]调用Linux操作系统的ALSA驱动接口，初始化麦克风，设置采集参数；
[0030]从ALSA获取声卡硬件时间戳，以及读取音频的波形数据，即声卡对声音的机械波进行采样的原始样本；
[0031]通过消息队列将波形数据和时间戳、采样率进行打包，作为声音信息并发送至后续处理进程。
[0032]进一步地，在进行哭声识别前，对声音信息进行以下处理：
[0033]从消息队列中读取消息；
[0034]对比当前读取到的消息的时间戳和当前时间，若时间相差超过预设阈值，判定目前检测延迟过高，丢弃所有时间戳在n秒前的未处理的数据包；其中，n为预设的检测窗口长度；
[0035]根据时间戳判断当前音频片段是否和之前缓冲的内容连续，若不连续则清空缓冲和检测结果队列；
[0036]将当前消息中的音频波形数据加入缓冲；
[0037]当缓冲中的音频波形数据达到或超过n秒后，将这些数据进行拼接，并送入模型中
进行哭声识别。
[0038]进一步地，根据图像信息进行身高测量的具体步骤包括：
[0039]获取深度图像，根据深度图像获取婴儿的关节点信息；其中，关节点信息包括婴儿的头顶、颈椎、盆骨、左右膝盖以及左右脚后跟共7个关键骨架关节点的像素坐标；
[0040]根据相机的参数，获取关键骨架关节点在以相机光心为原点的坐标系下的空间三维坐标；
[0041]根据三维坐标计算各关节点间距离，根据各关节点间距离计算获得婴儿的身高。
[0042]进一步地，最终身高的计算公式如下：
[0043]Height＝L
H
‑
N
+L
N
‑
P
+L
P
‑
K
+L
K
‑
F
[0044]为了减少测量误差，对左右下肢的长度取平均得到最终的下肢长度，即：
[0045][0046][0047]其中，L
H
‑
N
为头顶节点到颈椎节点之间的距离，L
N
‑
P
为颈椎节点到盆骨节点之间的距离，L
P
‑
K
为盆骨节点到膝盖节点之间的距离，L
K
‑
F
为膝盖节点到脚后跟节点之间的距离。
[0048]本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云边端协同智能婴儿护理系统，其特征在于，包括：传感器模块，用于采集婴儿床上的图像信息和声音信息；边缘设备，用于根据采集的图像信息和声音信息进行哭声识别以及体征识别，其中体征识别包括心率与呼吸频率测量、口鼻遮掩检测、身高测量、骨架识别或体温检测中的至少一种；云端设备，用于对检测模型进行训练以及更新，以及根据识别结果输出提示信息；其中，采用跨边云的协同框架来实现边缘端与云端设备之间的应用管理、外设管理、部署以及通信。2.根据权利要求1所述的一种云边端协同智能婴儿护理系统，其特征在于，所述哭声识别和体征识别采用神经网络模型来实现；边缘设备和云端设备通过参数共享和裁剪的方式，减少对任务不敏感的模型参数，从而降低模型存储和通信开销、减少网络规模和降低算力需求；在网络通信良好的情况下，神经网络模型将会被分割，先由云端设备执行模型前端的计算任务，然后云端设备将中间结果传输给边缘设备，由边缘端执行剩下的检测工作，得出最终结果；在网络通信不好的情况下，边缘端承担任全部的检测工作，以确保能够实时、快速地获得最终结果；此外，云端设备还会根据边缘设备上传的数据来训练模型，并更新边缘设备上的模型；边缘设备根据传感器采集到的信息，使用最新的模型执行检测任务。3.根据权利要求1所述的一种云边端协同智能婴儿护理系统，其特征在于，所述传感器模块包括红外摄像头、RGB摄像头、热传感器和麦克风。4.根据权利要求1所述的一种云边端协同智能婴儿护理系统，其特征在于，根据声音信息进行哭声识别的具体步骤如下：对声音信息进行预处理，获取音频信号；对音频信息进行重采样以及提取特征，根据提取的特征和预设的支持向量机进行分类识别，获得识别结果；所述识别结果包括婴儿哭声、安静场景、嘈杂场景和婴儿笑声；所述支持向量机通过以下方式获得；获取数据集，对数据集进行重采样，并进行特征提取；其中，提取的特征包括梅尔频率倒谱系数、频谱滚降点、频谱质心、过零率、频谱频宽、均方根能量；根据提取的特征拟合获得支持向量机。5.根据权利要求4所述的一种云边端协同智能婴儿护理系统，其特征在于，所述频谱质心定义如下：C＝∑
k
S
k
f
k
/∑
k
S
k
频谱频宽为二阶频谱频宽，定义如下：其中，S
k
表示第k个窗口的频谱，f
k
表示频谱第k个数据点对应的频率。6.根据权利要求1所述的一种云边端协同智能婴儿护理系统，其特征在于，云端设备是
一台Linux操作系统的服务器，边缘端设备是一台嵌入式设备；通过以下方式采集获取声音信息：调用Linux操作系统的ALSA驱动接口，初始化麦克风，...

【专利技术属性】
技术研发人员：谭明奎，陈良玮，陈耀佛，胡玮文，游增，曾景辉，吉冬昱，连梓豪，邓炜滔，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：