车内安全多模态控制智能车顶控制系统技术方案

本发明专利技术公开了一种车内安全多模态控制智能车顶控制系统，具体包括车内环境检测模块、应急安全响应模块、驾驶行为识别控制模块、语音识别控制模块、车顶灯光控制模块、开关按键控制模块、常规安全控制模块、汽车天窗控制模块、高速总线通信模块、综合控制模块和电源供电模块。本发明专利技术在常规车内安全监测措施基础上，进一步采用视频和语音识别技术对驾驶员和乘客的行为进行识别，并设计了多模态综合控制策略对车内安全进行识别，具有高可靠性和高智能化优势。能化优势。能化优势。

【技术实现步骤摘要】
车内安全多模态控制智能车顶控制系统


[0001]本专利技术隶属于汽车智能控制
本专利技术采用多模态控制技术，结合驾驶行为识别、语音识别和其他安全控制技术提升车内安全控制能力，提供了一种车内安全多模态控制智能车顶控制系统，实现高安全性和高可靠性。
技术背景
[0002]随着我国经济的迅速发展以及人民生活水平的不断提高，我国普通家庭以及单位的车辆保有量不断上升。人们在享受汽车带来的便捷同时，更多的考虑到车辆的舒适性和安全性。近年来汽车安全事故频发，典型的为汽车内部空气中毒事故、汽车底盘被水淹没导致的动力失效事故和驾驶员身体突发异常情况导致的安全事故。因此，设计针对汽车上述安全事故的预警和事故发生时的判别和管理系统，具有很强的现实需求。
[0003]传统的汽车车顶控制面板主要为简单的车内照明系统的开启与关闭操作，完全依靠安装在汽车上的按钮开关，驾驶员采用手动的接触操作控制，这样存在的缺点是：一方面是按钮经过长时间使用会产生损坏，易导致在危险情况下无法打开车灯的问题；另一方面是在汽车内安装多个按钮，占用汽车的空间，影响美观，同时在多个车本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车内安全多模态控制智能车顶控制系统，其特征是包括：车内环境检测模块、应急安全响应模块、驾驶行为识别控制模块、语音识别控制模块、车顶灯光控制模块、开关按键控制模块、常规安全控制模块、汽车天窗控制模块、高速总线通信模块、综合控制模块和电源供电模块；所述综合控制模块的第一控制信号输出端连接到应急安全响应模块的控制信号输入端，综合控制模块的第二控制信号输出端连接到车内环境检测模块的控制信号输入端，综合控制模块的第三控制信号输出端连接到驾驶行为识别控制模块的控制信号输入端，综合控制模块的第四控制信号输出端连接到语音识别控制模块的控制信号输入端，综合控制模块的第五控制信号输出端连接到车顶灯光控制模块的控制信号输入端，综合控制模块的第六控制信号输出端连接到开关按键控制模块的控制信号输入端，综合控制模块的第七控制信号输出端连接到常规安全控制模块的控制信号输入端，综合控制模块的第八控制信号输出端连接到汽车天窗控制模块的控制信号输入端，综合控制模块的第九控制信号输出端连接到高速总线通信模块的控制信号输入端，综合控制模块的第十控制信号输出端连接到电源供电模块的控制信号输入端；综合控制模块的第一数据输入端连接到车内环境检测模块的数据输出端，综合控制模块的第二数据输入端连接到驾驶行为识别控制模块的数据输出端，综合控制模块的第三数据输入端连接到语音识别控制模块的数据输出端，综合控制模块的第四数据输入端连接到车顶灯光控制模块的数据输出端，综合控制模块的第五数据输入端连接到开关按键控制模块的数据输出端，综合控制模块的第六数据输入端连接到常规安全控制模块的数据输出端，综合控制模块的第七数据输入端连接到汽车天窗控制模块的数据输出端，综合控制模块的第八数据输入端连接到高速总线通信模块的数据输出端，综合控制模块的第九数据输入端连接到电源供电模块的供电状态输出端；电源供电模块为上述所有电路提供供电。2.根据权利要求1所述的车内安全多模态控制智能车顶控制系统，其特征是启动时，按照先后次序依次开启不同的功能模块：首先开启电源供电模块、高速总线通信模块和综合控制模块；其次开启常规安全控制模块、车内环境检测模块和应急安全响应模块，开始对汽车电气设备状态和车内环境安全进行实时检测，并将检测结果实时反馈给综合控制模块，并在出现异常情况时由应急安全响应模块进行应急处理；然后开启开关按键控制模块、驾驶行为识别控制模块和语音识别控制模块，根据驾驶行为识别数据、语音识别数据和开关按键的指令进行功能控制；最后开启车顶灯光控制模块和汽车天窗控制模块；当所有功能模块都开启后，所述综合控制模块根据车内环境检测模块、驾驶行为识别控制模块、语音识别控制模块、车顶灯光控制模块、开关按键控制模块、常规安全控制模块、汽车天窗控制模块、高速总线通信模块和电源供电模块通过各自数据输出端所提供的所有输出数据，综合判决并决定所述车内安全多模态控制智能车顶控制系统的工作模式；所述工作模式包括应急安全模式和正常工作模式两种模式；高速总线通信模块、车内环境检测模块、驾驶行为识别控制模块和语音识别控制模块中任意一种或多种信号指示非正常时，所述综合控制模块开启应急安全模式，此时应急安全响应模块对外发送求救信号；所述车内安全多模态控制智能车顶控制系统进入应急安全模式时，应急安全响应模块将会一直开启；综合控制模块的将会检测电源供电模块的供电状态，如果供电状态提示异常，电源供电模块将会启用电源供电模块的紧急备用电源，综合控制模块将会关闭所述车内环境检测模
块、驾驶行为识别控制模块、语音识别控制模块、车顶灯光控制模块、开关按键控制模块、常规安全控制模块、汽车天窗控制模块，以最大限度降低电路功耗，延长应急安全响应模块的工作时间。3.根据权利要求1所述的车内安全多模态控制智能车顶控制系统，其特征是所述的驾驶行为识别控制模块采用ResNet18深度残差网络和多级空间注意力块相融合来构建网络，然后训练网络以获取优选网络模型。4.根据权利要求3所述的车内安全多模态控制智能车顶控制系统，其特征是所述的驾驶行为识别控制模块包括6级子网络，具体包括：第1级子网络以分辨率为224,224,3的RGB图像作为输入，其中图像大小为224*224像素、通道数为3，先后经过64个特征通道的7*7卷积层、3*3最大池化层，输出分辨率(56,56,64)的特征图，其中特征图大小为56*56像素、通道数为64；第2级子网络以分辨率为56,56,64的特征图作为输入，先后经过2个相同的残差块和1个空间注意力块，其中残差块由2个64通道3*3卷积、2个Relu激活函数、1个恒等映射分支、1个加法器组成，空间注意力块由3个32通道的1*1卷积层、2个乘法器、1个Softmax归一化函数、1个64通道的1*1卷积层、1个恒等映射分支、1个加法器组成，输出分辨率为56,56,64的特征图；第3级子网络以分辨率为56,56,64的特征图作为输入，先后经过2个不同的残差块和1个空间注意力块，其中一个残差块由2个128通道3*3卷积、2个Relu激活函数、1个128通道1*1卷积分支、1个加法器组成，另一个残差块由2个128通道3*3卷积、2个Relu激活函数、1个恒等映射分支、1个加法器组成，空间注意力块由3个64通道的1*1卷积层、2个乘法器、1个Softmax归一化函数、1个128通道的1*1卷积层、1个恒等映射分支、1个加法器组成，输出分辨率为28,28,128的特征图；第4级子网络以分辨率为28,28,128的特征图作为输入，先后经过2个不同的残差块和1个空间注意力块，其中一个残差块由2个256通道3*3卷积、2个Relu激活函数、1个256通道1*1卷积分支、1个加法器组成，另一个残差块由2个256通道3*3卷积、2个Relu激活函数、1个恒等映射分支、1个加法器组成，空间注意力块由3个128通道的1*1卷积层、2个乘法器、1个Softmax归一化函数、1个256通道的1*1卷积层、1个恒等映射分支、1个加法器组成，输出分辨率为14,14,256的特征图；第5级子网络以分辨率为14,14,256的特征图作为输入，先后经过2个不同的残差块和1个空间注意力块，其中一个残差块由2个512通道3*3卷积、2个Relu激活函数、1个512通道1*1卷积分支、1个加法器组成，另一个残差块由2个512通道3*3卷积、2个Relu激活函数、1个恒等映射分支、1个加法器组成，空间注意力块由3个256通道的1*1卷积层、2个乘法器、1个Softmax归一化函数、1个512通道的1*1卷积层、1个恒等映射分支、1个加法器组成，输出分辨率为7,7,512的特征图；第6级子网络以分辨率为7,7,512的特征图作为输入，经过全局平均池化层、全连接层、Softmax标准化层，输出5维的特征向量，用于表示5种不同驾驶行为类别的概率。5.根据权利要求3所述的车内安全多模态控制智能车顶控制系统，其特征是所述的驾驶行为识别控制模块第2级到第5级子网络所述空间注意力块用于捕获空间维度语义相关性，通过以下步骤生成空间注意力特征：
步骤1，应用3个1*1卷积层分别对输入特征进行降维，获得3个降维特征；步骤2，应用其中的2个降维特征首先进行矩阵乘法运算，然后进行Softmax归一化生成空间注意力矩阵，用于反映空间特征图中每个像素对于驾驶行为识别的重要程度；步骤3，将生成的空间注意力矩阵首先与另一个降维特征进行矩阵乘法运算，然后应用1个1*1卷积层对矩阵乘法运算结果进行升维，再与原始输入特征进行逐元素求和运算，获得反映空间维度语义相关性的空间注意力特征。6.根据权利要求1所述的车内安全多模态控制智能车顶控制系统，其特征是所述电源供电模块包括：低EMI开关电源、电压检测电路、紧急备用电源、电压缓冲电路、电源选择开关和偏置电压产生电路；低EMI开关电源将车载电源提供的12V电压进行开关变换降压处理，得到低压电源信号；该低压电源进入电源选择开关的同时，还被电压检测电路进行检测，检测产生的供电状态信号传输给综合控制模块；电源选择开关的输出进入到偏置电压产生电路，产生所述车内环境检测模块、应急安全响应模块、驾驶行为识别控制模块、语音识别控制模块、车顶灯光控制模块、开关按键控制模块、常规安全控制模块、汽车天窗控制模块、高速总线通信模块和综合控制模块分别需要使用的各种初始偏置电压；所述低EMI开关电源系统包括：Buck变换器、功率开关管Q1、续流电感L1、电流检测电阻R2、分压电阻R3、分压电阻R4、续流管Q2和输出电容COUT；所述Buck变换器内部采用抖频时钟产生电路来降低EMI干扰。7.根据权利要求6所述的车内安全多模态控制智能车顶控制系统，其特征是所述抖频时钟产生电路包括：PMOS管M1400、PMOS管M1401、PMOS管M1402、PMOS管M1403、PMOS管M1405、PMOS管M1406、PMOS管M1421、PMOS管M1430、NMOS管M1408、NMOS管M1409、NMOS管M1410、PMOS管M1411、NMOS管M1422、电阻R141、电阻R1421、电阻R1422、电容C141、电容C142、电容C1421、N个开关NMOS管M1431～M143N、N个串联电阻R1431～R143N、伪随机码产生电路、反相器Inv1400、反相器Inv1401、反相器Inv1402、反相器Inv1430、X个时钟输出反相器、缓冲器Buf140、PMOS管M1440、NMOS管M1441、PMOS管M1445、NMOS管M1446、PMOS管M1447、NMOS管M1448、电容C1440、电阻R1440、电容C1441、电阻R1441、电容C1442和电阻R1442；其中，所述PMOS管M1400的连接到漏极电阻R1421的上端，PMOS管M1400的栅极、PMOS管M1401的栅极、PMOS管M1402的栅极和PMOS管M1403的栅极均连接到偏置电压Vbc141；电阻R1421的下端连接到...

【专利技术属性】
技术研发人员：陈珍海，侯丽，汪伟，何千道，
申请(专利权)人：黄山市瑞兴汽车电子有限公司，
类型：发明
国别省市：