一种汽车座舱的音乐交互方法技术

本发明专利技术属于人车交互技术领域，具体涉及一种汽车座舱的音乐交互方法，包括：获取图像数据；对所述图像数据进行分割，得到原始帧数据集；通过骨架动作识别系列算法依次对所述原始帧数据集进行识别，以得到用户的身体和肢体的行为特征和运动轨迹；通过面部识别神经网络依次对所述原始帧数据集进行识别，以得到用户的人脸特征；通过动态手势识别算法依次对所述原始帧数据集进行识别，以得到用户的手势特征；根据所述用户的身体和肢体行为特征和运动轨迹、人脸特征以及手势特征输出对应的音乐控制指令。本发明专利技术通过视觉手段，识别用户的面部属性，如视线方向，面部表情，眉毛动作等，手臂方位，手掌动作等，增强用户同座舱的互动。增强用户同座舱的互动。增强用户同座舱的互动。

【技术实现步骤摘要】
一种汽车座舱的音乐交互方法


[0001]本专利技术属于人车交互
，具体涉及一种汽车座舱的音乐交互方法。

技术介绍

[0002]当今智能网联汽车媒体播放器已经成为车辆标配，通常人们播放音乐时仅会通过车机系统将音乐播放出来，用户处于被动收音状态。用户仅能单方面接收音乐播放器播放的音乐，不能通过面部表情、手势动作，身体姿态等行为和音乐进行互动，缺乏了人车交互的乐趣。

技术实现思路

[0003]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种视觉识别手段，识别用户的面部属性，如视线方向，面部表情，眉毛动作等，手臂方位，手掌动作等，增强用户同座舱的互动。
[0004]为实现上述目的及其他相关目的，本专利技术提供一种汽车座舱的音乐交互方法，应用于车载终端，所述汽车座舱的音乐交互方法包括：获取图像数据；对所述图像数据进行分割，得到原始帧数据集；通过骨架动作识别系列算法依次对所述原始帧数据集进行识别，以得到用户的身体和肢体的行为特征和运动轨迹；通过面部识别神经网络依次对所述原始帧数据集进行识别，以得到用户的人脸特征；通过动态手势识别算法依次对所述原始帧数据集进行识别，以得到用户的手势特征；根据所述用户的身体和肢体行为特征和运动轨迹、人脸特征以及手势特征输出对应的音乐控制指令。
[0005]根据本专利技术一具体实施例，所述通过骨架动作识别系列算法依次对所述原始帧数据集进行识别，以得到用户的身体和肢体的行为特征和运动轨迹的步骤包括：通过所述骨架动作识别系列算法中的2D动作识别算法依次对所述原始帧数据集进行提取，得到每一帧人像数据的2D动作信息和平面坐标；整合所有所述2D动作信息并将其输入到所述骨架动作识别系列算法中的3D动作识别网络中，得到所述用户的身体和肢体的行为特征；整合所有所述平面坐标，并根据所述原始帧数据集中的环境数据得到所述用户的身体和肢体的运动轨迹。
[0006]根据本专利技术一具体实施例，所述通过所述骨架动作识别系列算法中的2D动作识别算法依次对所述原始帧数据集进行提取，得到每一帧人像数据的2D动作信息和平面坐标的步骤包括：将所述原始帧数据集输入至训练好的HRNet网络中，得到人像数据的骨骼关键点以及平面坐标；通过ST
‑
GCN神经网络对所述骨骼的关键点关联并识别，得到对应的2D动作信息。
[0007]根据本专利技术一具体实施例，所述整合所有所述2D动作信息并将其输入到所述骨架动作识别系列算法中的3D动作识别网络中，得到所述用户的身体和肢体的行为特征的步骤包括：将所述2D动作信息输入至PoseC3D或3D
‑
CNN模型中识别，得到用户的身体和肢体行为特征。
[0008]根据本专利技术一具体实施例，所述整合所有所述平面坐标，并根据所述原始帧数据集中的环境数据得到所述用户的身体和肢体的运动轨迹的步骤包括：根据所述原始帧数据集中的环境数据与实时环境信息生成环境3D模型；通过所述环境3D模型将所述平面坐标转换成空间坐标；整合所有所述空间坐标得到所述用户的身体和肢体的运动轨迹。
[0009]根据本专利技术一具体实施例，所述面部识别神经网络采用AlexNet卷积神经网络。
[0010]根据本专利技术一具体实施例，所述通过动态手势识别算法依次对所述原始帧数据集进行识别，以得到用户的手势特征的步骤包括：根据用户的肤色分离干扰信息，得到用户皮肤裸露部分的特征数据；通过形态学灰度运算抹除所述特征数据中面部特征，得到中间特征数据；通过基于标记的分水岭分隔算法和八连通种子填充算法对所述中间特征数据进行分割，得到目标特征数据即手势信息；将所述目标特征数据输入至预设好的手势模型中识别，得到所述用户的手势特征。
[0011]一种汽车座舱的音乐交互系统，包括：信息采集模块，用于获取图像数据；信息处理模块，用于对所述图像数据进行分割，得到原始帧数据集；第一信息识别模块，用于通过骨架动作识别系列算法依次对所述原始帧数据集进行识别，以得到用户的身体和肢体的行为特征和运动轨迹；第二信息识别模块，用于通过面部识别神经网络依次对所述原始帧数据集进行识别，以得到用户的人脸特征；第三信息识别模块，用于通过动态手势识别算法依次对所述原始帧数据集进行识别，以得到用户的手势特征；信息反馈模块，用于根据所述用户的身体和肢体行为特征和运动轨迹、人脸特征以及手势特征输出对应的音乐控制指令。
[0012]一种汽车座舱的音乐交互设备，包括处理器，所述处理器与存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现上述任一项所述的一种汽车座舱的音乐交互方法。
[0013]一种计算机可读存储介质，包括程序，当所述程序在计算机上运行时，使得计算机执行如上述任一项所述的汽车座舱的音乐交互方法。
[0014]本专利技术的技术效果在于，通过视觉手段识别汽车座舱内的用户的行为特征、人脸特征、手势特征以及和车辆的交流互动，控制车载音乐播放器、氛围灯或视频播放器给予相应的反馈，形成用户与音乐之间的互动，增强趣味性，提高用户的乘车体验感。
附图说明
[0015]图1为本专利技术所提供的一种汽车座舱的音乐交互方法一具体实施例的流程示意图；
[0016]图2为本专利技术所提供的一种汽车座舱的音乐交互系统一具体实施例的流程示意图；
[0017]图3为本专利技术所提供的一种汽车座舱的音乐交互设备一具体实施例的结构示意图。
具体实施方式
[0018]以下将参照附图和优选实施例来说明本专利技术的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在
没有背离本专利技术的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本专利技术，而不是为了限制本专利技术的保护范围。
[0019]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0020]在下文描述中，探讨了大量细节，以提供对本专利技术实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本专利技术的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本专利技术的实施例难以理解。
[0021]首先需要说明的是，当今车辆基本都配置有音乐播放器，且交互技术的更新迭代，然而用户仅能单方面接收车载音乐播放器播放的音乐，并不能与音乐进行互动，导致用户乘车体验感较差。本申请通过将人车交互技术应用在该领域，通过视觉手段，识别用户的面部表情、视线方向、手势动作、身体姿态等用户的身体行为特征，播放对应设置好的音乐或特效，从而实现用户与音乐之间的互动，增强趣味性，提高用户的乘车体验感。
[0022]为了使本
的人员能够更好本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种汽车座舱的音乐交互方法，其特征在于，包括：获取图像数据；对所述图像数据进行分割，得到原始帧数据集；通过骨架动作识别系列算法依次对所述原始帧数据集进行识别，以得到用户的身体和肢体的行为特征和运动轨迹；通过面部识别神经网络依次对所述原始帧数据集进行识别，以得到用户的人脸特征；通过动态手势识别算法依次对所述原始帧数据集进行识别，以得到用户的手势特征；根据所述用户的身体和肢体行为特征和运动轨迹、人脸特征以及手势特征输出对应的音乐控制指令。2.根据权利要求1所述的汽车座舱的音乐交互方法，其特征在于，所述通过骨架动作识别系列算法依次对所述原始帧数据集进行识别，以得到用户的身体和肢体的行为特征和运动轨迹的步骤包括：通过所述骨架动作识别系列算法中的2D动作识别算法依次对所述原始帧数据集进行提取，得到每一帧人像数据的2D动作信息和平面坐标；整合所有所述2D动作信息并将其输入到所述骨架动作识别系列算法中的3D动作识别网络中，得到所述用户的身体和肢体的行为特征；整合所有所述平面坐标，并根据所述原始帧数据集中的环境数据得到所述用户的身体和肢体的运动轨迹。3.根据权利要求2所述的汽车座舱的音乐交互方法，其特征在于，所述通过所述骨架动作识别系列算法中的2D动作识别算法依次对所述原始帧数据集进行提取，得到每一帧人像数据的2D动作信息和平面坐标的步骤包括：将所述原始帧数据集输入至训练好的HRNet网络中，得到人像数据的骨骼关键点以及平面坐标；通过ST
‑
GCN神经网络对所述骨骼的关键点关联并识别，得到对应的2D动作信息。4.根据权利要求2所述的汽车座舱的音乐交互方法，其特征在于，所述整合所有所述2D动作信息并将其输入到所述骨架动作识别系列算法中的3D动作识别网络中，得到所述用户的身体和肢体的行为特征的步骤包括：将所述2D动作信息输入至PoseC3D或3D
‑
CNN模型中识别，得到用户的身体和肢体行为特征。5.根据权利要求2所述的汽车座舱的音乐交互方法，其特征在于，所述整合所有所述平面坐标，并根据...

【专利技术属性】
技术研发人员：杜思军，郭尧，
申请(专利权)人：吉利汽车研究院宁波有限公司，
类型：发明
国别省市：