一种心电信号与音乐信号匹配方法、系统、装置和介质制造方法及图纸

本发明专利技术公开了一种心电信号与音乐信号匹配方法、系统、装置和介质，其方法包括：对心电信号样本和音乐信号样本分别进行预处理，获得心电信号样本数据和音乐信号样本数据；对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，得到心电特征向量和音乐特征向量；根据所述心电情绪信息、所述音乐情绪信息、所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型；获取待匹配心电信号和音乐信号，基于所述目标相似性预测模型获得相似度。本发明专利技术以两种信号中包含的情绪信息为纽带，解决了心电信号与音乐之间的语义差距造成的难以量化二者关系的问题。义差距造成的难以量化二者关系的问题。义差距造成的难以量化二者关系的问题。

【技术实现步骤摘要】
一种心电信号与音乐信号匹配方法、系统、装置和介质


[0001]本专利技术涉及信号处理
，尤其涉及一种心电信号与音乐信号匹配方法、系统、装置和介质。

技术介绍

[0002]ECG（electrocardiogram，心电图）信号是记录周期性和有节律性心肌活动的生理电信号，音乐信号是人类产生的具有旋律性和声的创造性声音信号。心电与音乐两种类型的信号具有非常不同的语义。人体心电信号是非常微弱的生理低频电信号，通常最大的幅值不超过5mV，信号频率在0.05～100Hz之间，而音乐信号的频率一般在300～3400Hz之间。相比于音乐信号，心电信号更加微弱、低频、存在干扰噪声。当前，通过量化心电信号和音乐信号之间的关系存在广泛的应用，例如个性化音乐推荐、音乐创作和音乐数字疗法等应用场景，但是，目前很少有研究去探索心电信号与音乐之间的直接匹配任务。究其原因是，因为心电信号和音乐信号两者之间的语言差距问题，造成两者很难进行直接的量化和比较。为此，如何解决心电信号和音乐信号的比较和量化，从而在基于生理特征的应用场景下实现两者的匹配，已经成为本领域亟待解决的技术问题。

技术实现思路

[0003]为解决
技术介绍
中存在的技术问题，本专利技术提出一种心电信号与音乐信号匹配方法、系统及装置，以两种信号中包含的情绪信息为纽带，解决了心电信号与音乐之间的语义差距造成的难以量化二者关系的问题。
[0004]本专利技术提出一种心电信号与音乐信号匹配方法，包括：对心电信号样本和音乐信号样本分别进行预处理，获得心电信号样本数据和音乐信号样本数据；对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，得到心电特征向量和音乐特征向量；根据心电信号情绪预测模型和音乐信号情绪预测模型，分别以所述心电特征向量和所述音乐特征向量作为输入，获得心电情绪信息和音乐情绪信息；根据相似性预测模型，将所述心电特征向量与所述音乐特征向量进行串联作为输入，通过相似性检测得到两者相似度；根据所述心电情绪信息、所述音乐情绪信息、所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型；获取待匹配的心电信号和音乐信号，基于所述目标相似性预测模型，获得所述心电信号和所述音乐信号匹配的相似度。
[0005]其中，对心电信号样本和音乐信号样本分别进行预处理，包括：对所述心电信号样本进行高通滤波处理和z
‑
score标准化处理；对所述音乐信号样本进行音乐特征提取，所述音乐特征包括梅尔频率倒谱系数
MFCC特征、响度特征、频谱特征。
[0006]其中，对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，包括：对所述心电信号样本数据中提取包含情绪信息的特征向量数据，通过池化操作获得心电特征向量；对所述音乐信号样本数据中提取包含情绪信息的特征向量数据，通过池化操作获得音乐特征向量。
[0007]其中，所述心电情绪信息包括心电唤醒信息和心电价态信息，所述音乐情绪信息包括音乐唤醒信息和音乐价态信息。
[0008]其中，根据所述心电情绪信息、所述音乐情绪信息和所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型，包括：根据所述心电情绪信息，确定所述心电信号情绪预测模型的心电均方误差，其中，表示所述心电情绪信息中唤醒信息和价态信息组成的坐标，表示对心电特征向量标注的唤醒信息和价态信息组成的坐标，n表示数据量；根据所述音乐情绪信息，确定所述音乐信号情绪预测模型的音乐均方误差，其中，表示所述音乐情绪信息中唤醒信息和价态信息组成的坐标，表示对音乐特征向量标注的唤醒信息和价态信息组成的坐标，n表示数据量；根据所述相似度，确定所述相似性预测模型的相似度均方误差；其中，表示所述相似性预测模型预测的相似度，表示对音乐特征向量和心电特征向量标注的相似度，n表示数据量；通过梯度下降法对所述心电均方误差、所述音乐均方误差和相似度均方误差的和进行优化，调整模型参数，获得目标相似性预测模型。
[0009]本专利技术提出一种心电信号与音乐信号匹配系统，包括：信号处理模块，用于对心电信号样本和音乐信号样本分别进行预处理，获得心电信号样本数据和音乐信号样本数据；特征提取模块，用于对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，得到心电特征向量和音乐特征向量；情绪预测模块，用于根据心电信号情绪预测模型和音乐信号情绪预测模型，分别以所述心电特征向量和所述音乐特征向量作为输入，获得心电情绪信息和音乐情绪信息；相似预测模块，用于根据相似性预测模型，将所述心电特征向量与所述音乐特征向量进行串联作为输入，通过相似性检测得到两者相似度；训练优化模块，用于根据所述心电情绪信息、所述音乐情绪信息、所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型；匹配模块，用于获取待匹配的心电信号和音乐信号，基于所述目标相似性预测模型，获得所述心电信号和所述音乐信号匹配的相似度。
[0010]本专利技术提出一种心电信号与音乐信号匹配装置，包括：存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被
处理器加载并执行时实现上述的方法。
[0011]本专利技术还提出一种计算机存储介质，所述存储介质包括存储的程序，处理器执行所述程序以实现上述的方法。
[0012]在本专利技术中，通过构建深度学习模型来学习心电信号和音乐信号所包含的情绪信息，以心电信号和音乐信号中包含的情绪信息为纽带，使心电信号和音乐信号可比较，解决了心电信号与音乐之间的语义差距造成的难以量化二者关系的问题。基于解决了此问题，心电信号与音乐信号的匹配可以用于许多领域，如基于生理特征的个性化音乐推荐、音乐创作和音乐数字疗法等。在不同的
根据不同的技术问题将采用不同的匹配方法，比如，用于音乐推荐时会根据心电情绪推荐相似度高的音乐，用于音乐理疗时会根据心电情绪播放情绪相反的音乐，等等。
附图说明
[0013]图1为本专利技术实施例提出一种心电信号与音乐信号匹配系统结构图；图2为本专利技术实施例提出一种心电信号与音乐信号匹配方法的流程示意图。
具体实施方式
[0014]本专利技术实施例的一种心电信号与音乐信号匹配的技术解决方案，通过建立深度学习模型，用于评估心电信号和音乐信号之间的情感信息的相似性。参照图1，该深度学习模型包括两个分支：音乐分支和ECG分支。每个分支具体由以下几个部分组成：特征提取模块、价态
‑
唤醒预测器、相似性预测器。其中价态
‑
唤醒是常用的情绪模型，可以用价态
‑
唤醒数值来衡量情绪。价态表示愉快和不愉快（即积极和消极）的程度，唤醒表示代表兴奋和平静的程度。
[0015]本专利技术中基于情绪的心电信号和音乐信号的匹配深度学习算法，包括：对心电信号样本以及音乐信号样本进行预处理；将执行预处理之后的心电
‑
音乐数据对，输入到各自分支的特征提取模块中，特征提取模块输出二者的特征向量数据，二者的特征向量具有相同的维度与形本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种心电信号与音乐信号匹配方法，其特征在于，包括：对心电信号样本和音乐信号样本分别进行预处理，获得心电信号样本数据和音乐信号样本数据；对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，得到心电特征向量和音乐特征向量；根据心电信号情绪预测模型和音乐信号情绪预测模型，分别以所述心电特征向量和所述音乐特征向量作为输入，获得心电情绪信息和音乐情绪信息；根据相似性预测模型，将所述心电特征向量与所述音乐特征向量进行串联作为输入，通过相似性检测得到两者相似度；根据所述心电情绪信息、所述音乐情绪信息、所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型；获取待匹配的心电信号和音乐信号，基于所述目标相似性预测模型，获得所述心电信号和所述音乐信号匹配的相似度。2.根据权利要求1所述的心电信号与音乐信号匹配方法，其特征在于，对心电信号样本和音乐信号样本分别进行预处理，包括：对所述心电信号样本进行高通滤波处理和z
‑
score标准化处理；对所述音乐信号样本进行音乐特征提取，所述音乐特征包括梅尔频率倒谱系数MFCC特征、响度特征、频谱特征。3.根据权利要求1所述的心电信号与音乐信号匹配方法，其特征在于，对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，包括：对所述心电信号样本数据中提取包含情绪信息的特征向量数据，通过池化操作获得心电特征向量；对所述音乐信号样本数据中提取包含情绪信息的特征向量数据，通过池化操作获得音乐特征向量。4.根据权利要求1所述的心电信号与音乐信号匹配方法，其特征在于，所述心电情绪信息包括心电唤醒信息和心电价态信息，所述音乐情绪信息包括音乐唤醒信息和音乐价态信息。5.根据权利要求4所述的心电信号与音乐信号匹配方法，其特征在于，根据所述心电情绪信息、所述音乐情绪信息和所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型，包括：根据所述心电情绪信息，确定所述心电信号情绪预测模型的心电均方误差，其中，表示所述心电情绪...

【专利技术属性】
技术研发人员：韩玉虎，耿世佳，洪申达，周荣博，俞杰，鄂雁祺，傅兆吉，田城恺，
申请(专利权)人：合肥心之声健康科技有限公司，
类型：发明
国别省市：