一种汽车座舱的音乐交互方法技术

本发明专利技术属于人车交互技术领域，具体涉及一种汽车座舱的音乐交互方法，包括：获取图像数据；对所述图像数据进行分割，得到原始帧数据集；通过骨架动作识别系列算法依次对所述原始帧数据集进行识别，以得到用户的身体和肢体的行为特征和运动轨迹；通过面部识别神经网络依次对所述原始帧数据集进行识别，以得到用户的人脸特征；通过动态手势识别算法依次对所述原始帧数据集进行识别，以得到用户的手势特征；根据所述用户的身体和肢体行为特征和运动轨迹、人脸特征以及手势特征输出对应的音乐控制指令。本发明专利技术通过视觉手段，识别用户的面部属性，如视线方向，面部表情，眉毛动作等，手臂方位，手掌动作等，增强用户同座舱的互动。增强用户同座舱的互动。增强用户同座舱的互动。

【技术实现步骤摘要】
一种汽车座舱的音乐交互方法


[0001]本专利技术属于人车交互
，具体涉及一种汽车座舱的音乐交互方法。

技术介绍

[0002]当今智能网联汽车媒体播放器已经成为车辆标配，通常人们播放音乐时仅会通过车机系统将音乐播放出来，用户处于被动收音状态。用户仅能单方面接收音乐播放器播放的音乐，不能通过面部表情、手势动作，身体姿态等行为和音乐进行互动，缺乏了人车交互的乐趣。

技术实现思路

[0003]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种视觉识别手段，识别用户的面部属性，如视线方向，面部表情，眉毛动作等，手臂方位，手掌动作等，增强用户同座舱的互动。
[0004]为实现上述目的及其他相关目的，本专利技术提供一种汽车座舱的音乐交互方法，应用于车载终端，所述汽车座舱的音乐交互方法包括：获取图像数据；对所述图像数据进行分割，得到原始帧数据集；通过骨架动作识别系列算法依次对所述原始帧数据集进行识别，以得到用户的身体和肢体的行为特征和运动轨迹；通过面部识别神经网络依次对所述原始帧数据集进行识别，以得到用户的人脸特征；通过动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种汽车座舱的音乐交互方法，其特征在于，包括：获取图像数据；对所述图像数据进行分割，得到原始帧数据集；通过骨架动作识别系列算法依次对所述原始帧数据集进行识别，以得到用户的身体和肢体的行为特征和运动轨迹；通过面部识别神经网络依次对所述原始帧数据集进行识别，以得到用户的人脸特征；通过动态手势识别算法依次对所述原始帧数据集进行识别，以得到用户的手势特征；根据所述用户的身体和肢体行为特征和运动轨迹、人脸特征以及手势特征输出对应的音乐控制指令。2.根据权利要求1所述的汽车座舱的音乐交互方法，其特征在于，所述通过骨架动作识别系列算法依次对所述原始帧数据集进行识别，以得到用户的身体和肢体的行为特征和运动轨迹的步骤包括：通过所述骨架动作识别系列算法中的2D动作识别算法依次对所述原始帧数据集进行提取，得到每一帧人像数据的2D动作信息和平面坐标；整合所有所述2D动作信息并将其输入到所述骨架动作识别系列算法中的3D动作识别网络中，得到所述用户的身体和肢体的行为特征；整合所有所述平面坐标，并根据所述原始帧数据集中的环境数据得到所述用户的身体和肢体的运动轨迹。3.根据权利要求2所述的汽车座舱的音乐交互方法，其特征在于，所述通过所述骨架动作识别系列算法中的2D动作识别算法依次对所述原始帧数据集进行提取，得到每一帧人像数据的2D动作信息和平面坐标的步骤包括：将所述原始帧数据集输入至训练好的HRNet网络中，得到人像数据的骨骼关键点以及平面坐标；通过ST
‑
GCN神经网络对所述骨骼的关键点关联并识别，得到对应的2D动作信息。4.根据权利要求2所述的汽车座舱的音乐交互方法，其特征在于，所述整合所有所述2D动作信息并将其输入到所述骨架动作识别系列算法中的3D动作识别网络中，得到所述用户的身体和肢体的行为特征的步骤包括：将所述2D动作信息输入至PoseC3D或3D
‑
CNN模型中识别，得到用户的身体和肢体行为特征。5.根据权利要求2所述的汽车座舱的音乐交互方法，其特征在于，所述整合所有所述平面坐标，并根据...

【专利技术属性】
技术研发人员：杜思军，郭尧，
申请(专利权)人：吉利汽车研究院宁波有限公司，
类型：发明
国别省市：