基于驾驶员情绪的车内互动控制系统、方法及存储介质技术方案

本发明专利技术公开了一种基于驾驶员情绪的车内互动控制系统、方法及存储介质。该系统包括图像获取单元，用于通过车载摄像机对驾驶员的面部信息进行图像采集，获取静态图像或动态图像序列，并对所采集到的图像进行传输；图像分析单元，用于对图像获取单元采集到的图像进行图像预处理、面部表情特征提取、面部表情分类，以得到面部表情分类结果；控制单元，用于基于获取到的面部表情分类结果，对情绪类型进行情绪管理，以生成对应的车内互动控制方案。本发明专利技术基于用户的情绪，配合智能的氛围灯显示方案及音乐播放方案，可营造轻松愉悦的驾驶氛围，让车内生活更有仪式感，同时舒缓驾驶员的疲劳感，实现真正的人机交互。实现真正的人机交互。实现真正的人机交互。

【技术实现步骤摘要】
基于驾驶员情绪的车内互动控制系统、方法及存储介质


[0001]本专利技术涉及汽车控制
，特别是涉及一种基于驾驶员情绪的车内互动控制系统、方法及存储介质。

技术介绍

[0002]随着汽车电子技术的发展，汽车照明除了最初的功能性照明以外，用户越来越注重舒适性、个性化照明，汽车氛围灯应运而生。汽车氛围灯作为一种装饰汽车和烘托气氛的产品，逐渐从高端车型向中低档车型普及，恰到好处的氛围灯显示可以给人营造一个放松舒适的驾驶环境，从而使驾驶员身心愉悦，舒缓心灵。
[0003]现有的车内灯光或者音乐大多数需要人为去控制，不兼具自动调节的功能，或者是情绪识别准确性不高，使得驾驶者在人机交互体验感不佳。

技术实现思路

[0004]为此，本专利技术的一个实施例提出一种基于驾驶员情绪的车内互动控制系统，以提升人机交互体验。
[0005]根据本专利技术一实施例的基于驾驶员情绪的车内互动控制系统，包括：
[0006]图像获取单元，用于通过车载摄像机对驾驶员的面部进行图像采集，获取静态图像或动态图像序列，并将所采集到的图像进行传输，所述的图像获取单元需适应多种工况，包括白天、夜晚、顺光、逆光等。
[0007]图像分析单元，由车载摄像头采集驾驶员面部信息如眉、眼、鼻、嘴和面部轮廓的数据变化，图像分析单元对采集到的图像进行图像预处理、面部表情特征提取、面部表情分类，最终得到面部表情分类结果。此处将情绪分为三类，包括开心、难过、中立。开心分为三个等级：一般开心、很开心、非常开心；难过分为三个等级：一般难过、很难过、非常难过；
[0008]控制单元，此处可以是座舱域控制器，用于基于获取到的面部表情结果，对情绪类型进行情绪管理，生成对应的车内互动控制方案。
[0009]进一步地，所述控制单元包括数据缓冲池、情绪管理模块、氛围灯控制模块和音乐控制模块。数据缓冲池用于存储预设好的音乐，情绪管理模块通过所获取到的情绪类别及等级，对不同情绪进行分类管理，如识别到情绪1的第1个等级，情绪管理模块需生成对应的氛围灯显示方案及音乐播放方案，并将生成的方案通过信号传输的方式发送给氛围灯控制模块和音乐控制模块，氛围灯控制模块驱动氛围灯按指令进行显示，音乐控制模块驱动数据缓冲池中的音乐进行播放。
[0010]其中，情感与色彩的研究比较多，比如现在比较流行的色彩心理学，红色能让人兴奋，给人以速度、激情、热烈等情绪；黄色比较明亮，给人以青春、乐观、豁达的感觉；绿色代表自然、和平、友善；粉色代表轻盈、柔美；橙色代表积极、进取、活力；紫色代表浪漫、冷静、神秘；白色代表纯净、干净、素雅等。
[0011]此外，所述车内互动控制系统还包括执行单元，执行单元包含氛围灯及扬声器，执
行单元是基于氛围灯控制模块和音乐控制模块，并执行对应的氛围灯显示以及音乐播放。所述的显示单元可以安装在车门储物盒、车门把手、车门装饰条、脚踏板周边、中控台、仪表盘等部位。扬声器分为前扬声器、后扬声器、左扬声器、右扬声器。
[0012]在日常生活和工作中，人们情感的表达方式主要有语言、声音、肢体行为、面部表情等，而在这些行为方式中，根据本专利技术实施例提供的基于驾驶员情绪的车内互动控制系统，通过识别面部表情来判断驾驶员情绪，能够提升情绪识别准确性。基于用户的情绪，配合智能的氛围灯显示方案及音乐播放方案，可营造轻松愉悦的驾驶氛围，让车内生活更有仪式感，同时舒缓驾驶员的疲劳感，实现真正的人机交互。
[0013]本专利技术的另一个实施例提出一种基于驾驶员情绪的车内互动控制方法，以提升人机交互体验。
[0014]根据本专利技术实施例的基于驾驶员情绪的车内互动控制方法，包括：
[0015]步骤1：采集车内驾驶员的面部图像并进行传输。
[0016]通过车载摄像头等图像捕捉工具获取静态图像或动态图像序列，该车载摄像机需能适应各种光源环境，包括白天、夜晚、顺光、逆光等，即使在夜间、逆光等环境下，也能采集到高品质的图像。
[0017]步骤2：对采集到的图像进行处理，识别出驾驶员的情绪类别及等级。
[0018]面部情绪识别的应用步骤有：(1)图像预处理：通过车载摄像头等图像捕捉工具获取静态图像或动态图像序列，然后执行图像的大小和灰度的归一化，头部姿态的矫正，图像分割等。(2)特征提取:将点阵转化成更高级别图像表述，如形状、运动、颜色、纹理、空间结构等，在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理。(3)分类判别：包括设计和分类决策。判断识别到的表情，与预存的表情库做对比。
[0019]所述的图像预处理，是指提取仅具有面部的图像部分，对面部特征区域进行分割和归一化，头部姿态矫正，其中执行归一化主要是对面部光照和位置进行统一处理，将图像统一重塑为标准大小。归一化分为两个主要步骤：面部校正和面部修剪，主要目的是将图像转化为统一大小，具体步骤包括：(1)找到特征点并对其进行标记，首先选取两眼和鼻子作为三个特征点并采用一个函数对其进行标记，该操作的主要目的是获得特征点的坐标值，可以用鼠标进行调整。(2)两眼的坐标值可以看作参考点，将两眼之间的距离设置为d，找到两眼间的中点并标记为O，然后根据参考点对图像进行旋转,这步操作是为了保证将人脸图像调到一致。(3)进一步的地，以选定的O为基准，分别向左右两个方向各剪切距离为d的区域，在垂直方向剪切0.5d和1.5d的区域，进而可以根据面部特征点和几何模型对特征区域进行确定。为了更好的对表情进行提取，可将表情的子区域图像裁剪成统一像素。
[0020]所述的面部表情特征提取，主要通过卷积神经网络(CNN)来实现，将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等,在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理。卷积神经网络是一种前馈神经网络，它包括卷积计算并具有较深的结构，因此是深度学习的代表性算法之一。
[0021]进一步地，面部表情分类包括设计和分类决策，判断识别到的表情，与预存的表情库做对比，识别出驾驶员的情绪类别及等级，所述的面部表情分类结果包括但不仅限于开心、难过、中立等。此处将情绪分为三类，包括开心、难过、中立。开心分为三个等级：一般开心、很开心、非常开心；难过分为三个等级：一般难过、很难过、非常难过；
[0022]如果坐标差值在预设范围1，表示用户情绪为“开心”，进一步，如果坐标差异在预设范围1中的上段部分，表示一般开心，中段部分，表示很开心；下段部分，表示非常开心。如果坐标差值在预设范围2，表示用户情绪为“难过”，进一步，如果坐标差异在预设范围2中的上段部分，表示一般难过，中段部分，表示很难过；下段部分，表示非常难过。如果坐标差值在预设范围3，表示用户情绪为“中立”。
[0023]步骤3：据获取到的情绪类别以及等级，通过座舱域控制器进行用户情绪管理处理，形成对应的车内互动控制方案。
[0024]所述的情绪管理指的是，座舱域控制器在获取到情绪类别及等级后，映射到相应的氛围灯颜色及音乐。例如，氛围灯颜色包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于驾驶员情绪的车内互动控制系统，其特征在于，包括：图像获取单元，用于通过车载摄像机对驾驶员的面部信息进行图像采集，获取静态图像或动态图像序列，并对所采集到的图像进行传输；图像分析单元，用于对图像获取单元采集到的图像进行图像预处理、面部表情特征提取、面部表情分类，以得到面部表情分类结果；控制单元，用于基于获取到的面部表情分类结果，对情绪类型进行情绪管理，以生成对应的车内互动控制方案。2.根据权利要求1所述的基于驾驶员情绪的车内互动控制系统，其特征在于，所述控制单元包括数据缓冲池、情绪管理模块、氛围灯控制模块和音乐控制模块；所述数据缓冲池用于存储预设好的音乐；所述情绪管理模块用于通过所获取到的情绪类别及等级，对不同情绪进行分类管理，以生成与情绪类别及等级对应的氛围灯显示方案及音乐播放方案，并将生成的方案通过信号传输的方式发送给所述氛围灯控制模块和所述音乐控制模块；所述氛围灯控制模块用于驱动氛围灯按指令进行显示，所述音乐控制模块驱动所述数据缓冲池中对应的音乐进行播放。3.根据权利要求2所述的基于驾驶员情绪的车内互动控制系统，其特征在于，所述车内互动控制系统还包括执行单元；所述执行单元包括氛围灯及扬声器，所述执行单元用于基于所述氛围灯控制模块和所述音乐控制模块，执行对应的氛围灯显示以及音乐播放，所述氛围灯安装在车门储物盒、车门把手、车门装饰条、脚踏板周边、中控台、仪表盘中的至少一个位置，扬声器包括前扬声器、后扬声器、左扬声器、右扬声器中的至少一种。4.根据权利要求1所述的基于驾驶员情绪的车内互动控制系统，其特征在于，所述控制单元采用座舱域控制器。5.一种基于驾驶员情绪的车内互动控制方法，其特征在于，包括：步骤1：采集车内驾驶员的面部图像并进行传输；步骤2：对采集到的图像进行处理，识别出驾驶员的情绪类别及等级；步骤3：根据获取到的情绪类别以及等级，通过座舱域控制器进行用户情绪管理处理，形成对应的车内互动控制方案；步骤4：基于车内互动控制方案，控制车内氛围灯的显示及音乐播放。6.根据权利要求5所述的基于驾驶员情绪的车内互...

【专利技术属性】
技术研发人员：凌芳芳，左敏，余军，陈晖，
申请(专利权)人：江铃汽车股份有限公司，
类型：发明
国别省市：