基于生物特征交互的音乐解锁方法及电子设备技术

本发明专利技术提供一种基于生物特征交互的音乐解锁方法及电子设备，通过人脸分析算法对所获取的人脸图像进行基于人脸表情的情绪特征构造以形成多级表情情绪特征，并将获取的心率信号转换为心率数据；再对多级表情情绪特征进行映射处理以形成表情情绪特征编码，对心率数据进行有效计算以获取心率情绪特征编码；而后对表情情绪特征编码与心率情绪特征编码进行融合计算以获取多级情绪序列编码；再将多级情绪序列编码与情绪

【技术实现步骤摘要】
基于生物特征交互的音乐解锁方法及电子设备


[0001]本专利技术涉及媒体推荐
，更为具体地，涉及一种基于生物特征交互的音乐解锁方法及电子设备。

技术介绍

[0002]随着用户个性化需求提高和计算机技术的发展，以用户为中心的新型个性化推荐方法受到越来越多研究者的关注。其中，在音乐推荐领域，大多数现有的音乐推荐系统都使用协作式或基于内容的推荐引擎。然而，用户的音乐选择不仅取决于历史偏好或音乐内容，也取决于用户当前的情绪。因此，近年来具有情感意识的音乐推荐算法受到越来越多的关注。
[0003]多模态情绪分析技术的发展源于现实生活的需求,人们可以通过词语、动作表情、语调变化等自然表达方式传递自己的情绪情感，相互理解相互交流，因此对于计算机而言，也应赋予其相应的智能理解和分析能力。近些年的多通道情绪分析主要通过深度学习对单通道内部信息以及不同通道间的相互关系进行建模。其中人脸信息和心率信息，是多通道情绪分析中的两类主要模态信息。
[0004]早期基于人脸表情进行情绪识别大多基于卷积神经网络（convolutional neural networks，CNN）模型，然而，基于CNN的情绪识别方法存在受环境干扰大等缺点，不再适用于精准度较高的音乐推荐方法；并且现有的现有智能音箱以及音乐播放软件，主要采取用户自主选择音乐播放清单，存在交互方式单一、交互过程缺乏探索性、趣味性等问题，而且不具有情感意识，未考虑用户的情感偏好，即使考虑感情偏好，其音乐推荐算法也大多以离散的方式表征用户单一时刻的情绪状态，未考虑用户情绪的时序变化；并且通过人的面部表情分析人的情感，是最基础、直观的基于生理信号的情感分析方法，其优点是分析模型容易构造，但是基于人的面部表情分析的缺点主要在于人可以做到人脸表情与实际情绪表里不一而导致的分析错误。
[0005]因此，亟需一种提高音乐推荐系统的趣味性、智能性和准确性，准确把握用户的真实需求的基于生物特征交互的音乐解锁方法及电子设备。

技术实现思路

[0006]鉴于上述问题，本专利技术的目的是提供一种基于生物特征交互的音乐解锁方法及电子设备，以解决现有的现有智能音箱以及音乐播放软件，主要采取用户自主选择音乐播放清单，存在交互方式单一、交互过程缺乏探索性、趣味性等问题，而且不具有情感意识，未考虑用户的情感偏好，即使考虑感情偏好，其音乐推荐算法也大多以离散的方式表征用户单一时刻的情绪状态，未考虑用户情绪的时序变化的问题。
[0007]本专利技术提供的一种基于生物特征交互的音乐解锁方法，包括：基于用户的音乐需求获取所述用户的人脸图像和心率信号；通过人脸分析算法对所述人脸图像进行基于人脸表情的情绪特征构造以形成多
级表情情绪特征，并通过心率逻辑运行函数将所述心率信号转换为心率数据；对所述多级表情情绪特征进行映射处理以形成表情情绪特征编码，对所述心率数据进行有效计算以获取心率情绪特征编码；对所述表情情绪特征编码与所述心率情绪特征编码进行融合计算以获取多级情绪序列编码；将所述多级情绪序列编码与预设的情绪
‑
音乐映射表相对比以获取与所述多级情绪序列编码相对应的目标音乐，并解锁或播放所述目标音乐。
[0008]优选地，基于用户的音乐需求获取所述用户的人脸图像和心率信号的过程，包括：通过处理器将获取的音乐需求转换为图像采集请求和心率采集请求；将所述图像采集请求传输至人脸图像信息采集模块使所述人脸图像信息采集模块通过预设的摄像头采集用户的人脸图像，将所述心率采集请求传输至心率信息采集模块，使所述心率信息采集模块通过心率传感器获取用户的心率信号。
[0009]优选地，通过人脸分析算法对所述人脸图像进行基于人脸表情的情绪特征构造以形成多级表情情绪特征的过程，包括：通过基于72点人脸采集点的人脸分析算法对所述人脸图像进行表情识别以获取表情帧集合；对所述表情帧集合进行表情过滤以删除连续重复表情，获取具有时序变化的多级表情序列；对所述多级表情序列进行信息提取以获取多级表情情绪特征。
[0010]优选地，对所述多级表情情绪特征进行映射处理以形成表情情绪特征编码的过程，包括：将所述多级表情情绪特征中所包含的关于每一个表情帧的信息与预设的表情
‑
编码表相对应，以获取与所述每一个表情帧相对应的数字，并按照所述多级表情序列的时序对所述数字进行顺序排列以生成表情情绪特征编码。
[0011]优选地，通过心率逻辑运行函数将所述心率信号转换为心率数据的过程，包括：定义与所述心率信息采集模块的IIC地址和心率信息通道，并编写心率逻辑运行函数存储至所述心率信息采集模块中；通过所述心率逻辑运行函数将在预设时刻采集的心率信号转换为心率数据；转换公式如下：其中， 表示转换后的t时刻的心率数据；表示t时刻的心率信号。
[0012]优选地，对所述心率数据进行有效计算以获取心率情绪特征编码的过程，包括：获取所述心率数据在预设时间内的平均值，并将所述平均值作为有效心率；将所述有效心率与预设的心率阈值相比较以获取心率情绪特征编码；其中，若所述有效心率大于所述心率阈值，则将所述心率情绪特征编码记为1，若所述有效心率低于所述心率阈值，则将所述心率情绪特征编码记为0。
[0013]优选地，对所述表情情绪特征编码与所述心率情绪特征编码进行融合计算以获取多级情绪序列编码的公式为：
其中，代表多级情绪序列编码；代表表情情绪特征编码；代表心率情绪特征编码。
[0014]优选地，将所述多级情绪序列编码与预设的情绪
‑
音乐映射表相对比以获取与所述多级情绪序列编码相对应的目标音乐，并解锁或播放所述目标音乐的过程，包括：将所述多级情绪序列编码与预设的情绪
‑
音乐映射表相对比查看在所述情绪
‑
音乐映射表中是否包含与所述多级情绪序列编码相对应的类型的音乐；其中，若所述情绪
‑
音乐映射表中包含与所述多级情绪序列编码相对应的类型的音乐，则将与所述多级情绪序列编码相对应的类型的音乐作为目标音乐，并判断所述目标音乐是否被解锁，若已解锁，则播放所述目标音乐，若未解锁，则对所述目标音乐加入解锁目录，且播放所述目标音乐；若所述情绪
‑
音乐映射表中未包含与所述多级情绪序列编码相对应的类型的音乐，则发出表情未识别提示，并打开预设的随机路径，将所述随机路径中的音乐作为目标音乐进行播放。
[0015]另一方面，本专利技术还提供一种基于生物特征交互的音乐解锁电子设备，实现如前所述的基于生物特征交互的音乐解锁方法，包括人脸图像信息采集模块、心率信息采集模块、辅助模块、主控模块和扬声器模块；其中，所述人脸图像信息采集模块用于获取所述用户的人脸图像；所述心率信息采集模块用于获取所述用户的心率信号；所述辅助模块包括存储单元和连接线；所述主控模块通过所述连接线与所述存储单元相连接，所述主控模块包括处理器；其中，所述处理器包括：请求处理单元，用于获取用户的音乐需求，将所述音乐需求转换为图像采集请求和心率采集请求，并将所述图像采集请求和心本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生物特征交互的音乐解锁方法，其特征在于，包括：基于用户的音乐需求获取所述用户的人脸图像和心率信号；通过人脸分析算法对所述人脸图像进行基于人脸表情的情绪特征构造以形成多级表情情绪特征，并通过心率逻辑运行函数将所述心率信号转换为心率数据；对所述多级表情情绪特征进行映射处理以形成表情情绪特征编码，对所述心率数据进行有效计算以获取心率情绪特征编码；对所述表情情绪特征编码与所述心率情绪特征编码进行融合计算以获取多级情绪序列编码；将所述多级情绪序列编码与预设的情绪
‑
音乐映射表相对比以获取与所述多级情绪序列编码相对应的目标音乐，并解锁或播放所述目标音乐。2.如权利要求1所述的基于生物特征交互的音乐解锁方法，其特征在于，基于用户的音乐需求获取所述用户的人脸图像和心率信号的过程，包括：通过处理器将获取的音乐需求转换为图像采集请求和心率采集请求；将所述图像采集请求传输至人脸图像信息采集模块使所述人脸图像信息采集模块通过预设的摄像头采集用户的人脸图像，将所述心率采集请求传输至心率信息采集模块，使所述心率信息采集模块通过心率传感器获取用户的心率信号。3.如权利要求2所述的基于生物特征交互的音乐解锁方法，其特征在于，通过人脸分析算法对所述人脸图像进行基于人脸表情的情绪特征构造以形成多级表情情绪特征的过程，包括：通过基于72点人脸采集点的人脸分析算法对所述人脸图像进行表情识别以获取表情帧集合；对所述表情帧集合进行表情过滤以删除连续重复表情，获取具有时序变化的多级表情序列；对所述多级表情序列进行信息提取以获取多级表情情绪特征。4.如权利要求3所述的基于生物特征交互的音乐解锁方法，其特征在于，对所述多级表情情绪特征进行映射处理以形成表情情绪特征编码的过程，包括：将所述多级表情情绪特征中所包含的关于每一个表情帧的信息与预设的表情
‑
编码表相对应，以获取与所述每一个表情帧相对应的数字，并按照所述多级表情序列的时序对所述数字进行顺序排列以生成表情情绪特征编码。5.如权利要求4所述的基于生物特征交互的音乐解锁方法，其特征在于，通过心率逻辑运行函数将所述心率信号转换为心率数据的过程，包括：定义与所述心率信息采集模块的IIC地址和心率信息通道，并编写心率逻辑运行函数存储至所述心率信息采集模块中；通过所述心率逻辑运行函数将在预设时刻采集的心率信号转换为心率数据；转换公式如下：其中，表示转换后的t时刻的心率数据；表示t时刻的心率信号。6.如权利要求5所述的基于生物特征交互的音乐解锁方法，其特征在于，对所述心率数
据进行有效计算以获取心率情绪特征编码的过程，包括：获取所述心率数据在预设时间内的平均值，并将所述平均值作为有效心率；将所述有效心率与预设的心率阈值相比较以获取心率情绪特征编码；其中，若所述有效心率大于所述心率阈值，则将所述心率情绪特征编码记为1，若所述有效心率低于所述心率阈值，则将所述心率情绪特征编码记为0。7.如权利要求6所述的基于生物特征交互的音乐解锁方法，其特征在于，...

【专利技术属性】
技术研发人员：叶龙，程皓楠，张儒裕，黄霄蓥，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：