基于人工转换的脉冲神经网络睡眠呼吸障碍监测装置制造方法及图纸

本发明专利技术公开了基于人工转换的脉冲神经网络睡眠呼吸障碍监测装置，首先通过声音特征提取模块从采集到的鼾声音频文件中提取到可用于训练的声音特征；通过对声音特征提取模块生成的特征矩阵进行分帧、升维方式将其转化为可输入卷积神经网络的特征图；通过注意力机制模块计算出每一时刻特征图对输出贡献程度；将声音特征脉冲编码模块输出的特征图逐帧送入卷积神经网络进行运算，根据预测结果与实际值的差距通过反向传播调整卷积神经网络的权重；脉冲神经网络采取卷积神经网络训练得到的权重，通过前向传播得到阈值，并且通过STDB方式完成对脉冲神经网络参数训练。本装置占用计算资源更少、能耗更低，能更好地应用于FPGA和移动设备。备。备。

【技术实现步骤摘要】
基于人工转换的脉冲神经网络睡眠呼吸障碍监测装置


[0001]本专利技术涉及计算机听觉和深度学习中类脑神经网络领域，尤其是涉及基于人工转换的脉冲神经网络睡眠呼吸障碍监测装置。

技术介绍

[0002]近年来随着深度学习类脑神经网络的发展，基于人工智能处理音频的医疗监测设备对于低功耗部署的需求，脉冲神经网络与计算机听觉的结合越来越受到人们的关注。
[0003]基于深度学习的声音信号处理是指用录音机等传感器记录真实世界的声音信号，并通过深度学习相关技术对采集到的声音信号进行特征提取分类等操作。随着科技发展朝着智能化演进，医疗监测行业开始使用基于人工智能的疾病监测装置，而这种疾病监测装置对于精确度有很高的要求，而移动端的睡眠呼吸障碍监测需求，对于监测装置的耗能也提出了非常高的要求。脉冲神经网络作为类脑神经网络的一种，因其低耗能的特性受到人们广泛的关注，利用脉冲神经网络低耗能的特性，可以设计出一套基于脉冲神经网络的睡眠呼吸障碍监测装置。
[0004]脉冲神经网络是当今类脑神经网络研究的热点，受到业界的广泛关注，涌现了许多脉冲神经网络的构建方式和脉冲神经网络的训练方法，训练脉冲神经网络的方法主要有基于脉冲时间的反向传播和基于人工神经网络转换的脉冲神经网络这两种训练方式。
[0005]虽然目前已有针对脉冲神经网络的训练方法，但还是存在一些问题有待解决。基于人工神经网络转换生成的脉冲神经网络会产生2000
‑
2500个时间步长的大延迟，大的延迟转化为推理过程中更高的能量消耗，因此，减少了脉冲神经网络相对于人工神经网络的效率改进。而基于脉冲时间的反向传播训练方法，由于脉冲序列不可微分的特性，训练过程非常漫长，而且由于多次迭代训练需要大量内存(用于向后传递计算)，限制了基于峰值的反向传播方法在简单的少层卷积体系结构上的小数据集上的适用性。

技术实现思路

[0006]为解决现有技术的不足，实现具有高准确度、低耗能、短时间步长、易于训练的睡眠呼吸障碍监测装置的目的，本专利技术采用如下的技术方案：
[0007]基于人工转换的脉冲神经网络睡眠呼吸障碍监测装置，包括依次连接的声音特征提取模块、声音特征脉冲编码模块、基于时间的注意力机制模块、脉冲神经网络模块；
[0008]所述声音特征提取模块，通过获取的鼾声音频信号，生成相应的声音特征；
[0009]所述声音特征脉冲编码模块，对生成的声音特征进行编码，将其转化为一组脉冲序列；
[0010]所述基于时间的注意力机制模块，计算每一时刻特征图对输出特征的权重；
[0011]所述脉冲神经网络模块，获取声音特征脉冲编码模块的输出，根据睡眠呼吸障碍类型的预测结果与实际值的差距训练脉冲神经网络的权重；通过前向传播得到阈值，并且通过基于脉冲时间的反向传播STDB方式完成对脉冲神经网络参数的训练。
[0012]进一步地，所述声音特征提取模块的执行过程，包括如下步骤：
[0013]步骤S101：对音频信号依次进行预加重和分帧，对每帧进行加窗；
[0014]步骤S102：对于分帧加窗后的各帧，计算功率谱的周期图估计；
[0015]步骤S103：将滤波器组应用于功率谱，求滤波器组的能量，将每个滤波器中的能量相加；
[0016]步骤S104：取所有滤波器组能量的对数；
[0017]步骤S105：取对数滤波器组能量的离散余弦变换，根据离散余弦变换的系数，生成所需的频谱特征。
[0018]进一步地，所述步骤S1.1中，采用高通滤波器进行预加重处理，用于补偿语音信号中的高频信号，通过与前一个采样点作差的方式可以突出音频信号中的高频信息，采样点数量为一帧的时间与声音信号采样率的乘积，其中预加重公式：
[0019]y(t)＝x(t)
‑
αx(t
‑
1)
[0020]其中，x(t)表示第t时刻对应的音频信号，y(t)表示预加重处理后的音频信号，α表示滤波器系数，用于调整抑制低频的程度，将信号分割成帧后，再对每个帧乘以一个窗函数，以增加帧左端和右端的连续性，抵消FFT假设(数据是无限的)，并减少频谱泄漏，即对y(t)进行分帧，每帧需要分别乘以窗函数，用以增强帧与帧的连续性。
[0021]进一步地，所述加窗采用汉明窗，形式如下：
[0022][0023]其中，n表示每帧中第n个采样点，a表示用于调整窗口形状的参数，N表示每一帧采样点的个数。
[0024]进一步地，所述步骤S102中，对分帧加窗后的各帧信号，基于每帧采样点进行快速傅里叶变换FFT来计算频谱，计算公式如下：
[0025][0026]其中，S
i
(n)表示时域上的采样点序列，S
i
(k)表示频域上的频谱，k表示频率取值，K表示频率取值范围的上限，e表示自然指数，j表示虚数单位，虚数来自欧拉公式e
iθ
＝cosθ+isinθ；
[0027]然后计算功率谱，对语音信号的频谱取模平方得到语音信号的谱线能量，计算公式如下：
[0028][0029]其中，FFT(
·
)表示快速傅里叶变换，x
i
表示输入的采样点序列。
[0030]进一步地，所述步骤S103中，将功率谱通过一组Mel的三角滤波器来提取频带，中心频率为f(m)，中心频率处的响应为1，并向0线性减小，直到达到两个相邻滤波器的中心频率，其中响应为0，各f(m)之间的间隔随着m值的增大而增宽；
[0031]三角滤波器的频率响应可以用以下公式表示：
[0032][0033]其中，m表示滤波器的序号，k表示频率；
[0034]将功率谱分别与每一个滤波器进行频率相乘累加，得到该帧数据在该滤波器对应频段的能量值。
[0035]进一步地，所述步骤S105中，前两个步骤中计算的滤波器组系数是高度相关的，这在某些机器学习算法中是有问题的。因此，我们可以采用离散余弦变换(DCT)对滤波器组系数进行去相关处理，并产生滤波器组的压缩表示：
[0036][0037]其中，s(m)表示第m个频率倒谱系数MFCC的系数值，L表示频率倒谱系数MFCC阶数，通过保持离散余弦变换的系数范围，丢弃其余部分，得到所需的频率倒谱系数MFCC特征。
[0038]进一步地，所述脉冲神经网络模块，采用卷积神经网络训练得到的权重，通过前向传播得到阈值，并且通过基于脉冲时间的反向传播STDB方式，完成对脉冲神经网络参数训练，包括神经网络本体、神经网络权值移植模块、阈值初始化模块、脉冲神经网络训练模块；
[0039]所述神经网络权值移植模块，将卷积神经网络训练得到的权值移植到脉冲神经网络中；
[0040]所述阈值初始化模块，通过神经网络的前向传播找到每一层神经网络神经元接受上一层神经元的加权求和的最大值作为本层的阈值；
[0041]所述脉冲神经网络训练模块，对脉冲神经网络的训练采用基于脉冲时间的反向传播S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于人工转换的脉冲神经网络睡眠呼吸障碍监测装置，包括依次连接的声音特征提取模块、声音特征脉冲编码模块、基于时间的注意力机制模块、脉冲神经网络模块，其特征在于：所述声音特征提取模块，通过获取的鼾声音频信号，生成相应的声音特征；所述声音特征脉冲编码模块，对生成的声音特征进行编码，将其转化为一组脉冲序列；所述基于时间的注意力机制模块，计算每一时刻特征图对输出特征的权重；所述脉冲神经网络模块，获取声音特征脉冲编码模块的输出，根据睡眠呼吸障碍类型的预测结果与实际值的差距训练脉冲神经网络的权重；通过前向传播得到阈值，并且通过基于脉冲时间的反向传播STDB方式完成对脉冲神经网络参数的训练。2.根据权利要求1所述的基于人工转换的脉冲神经网络睡眠呼吸障碍监测装置，其特征在于：所述声音特征提取模块的执行过程，包括如下步骤：步骤S101：对音频信号依次进行预加重和分帧，对每帧进行加窗；步骤S102：对于分帧加窗后的各帧，计算功率谱的周期图估计；步骤S103：将滤波器组应用于功率谱，求滤波器组的能量，将每个滤波器中的能量相加；步骤S104：取所有滤波器组能量的对数；步骤S105：取对数滤波器组能量的离散余弦变换，根据离散余弦变换的系数，生成所需的频谱特征。3.根据权利要求2所述的基于人工转换的脉冲神经网络睡眠呼吸障碍监测装置，其特征在于：所述步骤S1.1中，采用高通滤波器进行预加重处理，用于补偿语音信号中的高频信号，通过与前一个采样点作差的方式可以突出音频信号中的高频信息，采样点数量为一帧的时间与声音信号采样率的乘积，其中预加重公式：y(t)＝x(t)
‑
αx(t
‑
1)其中，x(t)表示第t时刻对应的音频信号，y(t)表示预加重处理后的音频信号，α表示滤波器系数，用于调整抑制低频的程度，将信号分割成帧后，再对每个帧乘以一个窗函数，即对y(t)进行分帧，每帧需要分别乘以窗函数。4.根据权利要求2所述的基于人工转换的脉冲神经网络睡眠呼吸障碍监测装置，其特征在于：所述加窗采用汉明窗，形式如下：其中，n表示每帧中第n个采样点，a表示用于调整窗口形状的参数，N表示每一帧采样点的个数。5.根据权利要求2所述的基于人工转换的脉冲神经网络睡眠呼吸障碍监测装置，其特征在于：所述步骤S102中，对分帧加窗后的各帧信号，基于每帧采样点进行快速傅里叶变换FFT来计算频谱，计算公式如下：其中，S
i
(n)表示时域上的采样点序列，S
i
(k)表示频域上的频谱，k表示频率取值，K表示频率取值范围的上限，e表示自然指数，j表示虚数单位，虚数来自欧拉公式e
iθ
＝cosθ+isin
θ；然后计算功率谱，对语音信号的频谱取模平方得到语音信号的谱线能量，计算公式如下：其中，FFT(
·
)表示快速傅里叶变换，x
i
表示输入的采样点序列。6.根据权利要求2所述的基于人工转换的脉冲神经网络睡眠呼...

【专利技术属性】
技术研发人员：许方浩，李文钧，岳克强，梁嘉铠，王超，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：