一种汽车座舱用手势识别系统的网络架构及训练方法技术方案

本发明专利技术公开了一种汽车座舱用手势识别系统的网络架构及训练方法，包括训练数据准备、采集由RGB摄像机和热成像相机输出的实时视频、提取视频中的关键特征信息、操作执行系统根据SQL Server数据库中的手势信息执行相关操作；数据处理系统根据CoAttention识别结果执行相应的反馈；通过相应手势识别装置识别驾驶员手势动作，并生成手势指令，以使相应智能车载设备根据相应手势指令执行相应操作，使得安全驾驶，避免安全隐患，减少驾驶员对智能车载设备的操作等，驾驶员在汽车行驶途中，不需要转移视线去手动操作智能屏幕上的具体按键，就能控制智能车载装置作出相应操作，增加了驾驶过程中的安全性能。驶过程中的安全性能。驶过程中的安全性能。

【技术实现步骤摘要】
一种汽车座舱用手势识别系统的网络架构及训练方法


[0001]本专利技术涉及一种汽车座舱用手势识别系统，具体为一种汽车座舱用手势识别系统的网络架构及训练方法，属于智能车载设备


技术介绍

[0002]随着自动驾驶技术的不断发展和人民生活水平的不断提高，购买以新能源为首的自动驾驶/辅助驾驶汽车作为代步工具也越来越得到普及，其不仅给人们的出行带来了极大的方便，极大的提高了人们的生活质量，更给人们带来了一种全新的驾驶体验。
[0003]但是，现有的大部分汽车，其在车载配置上依然具有一定的缺陷和不足：在行车过程中，驾驶员难以避免的需要操作汽车中控台上的操作按键，来启动车载语音系统接听/拨打电话、操作车载多媒体系统来播放音乐及开启导航仪系统进行实时线路导航等等，而这些操作容易分散驾驶员的注意力，使得具有安全隐患，并会引发较多的安全问题。
[0004]因此，车载智能控制系统成为业内人士和车主尤为关注的技术问题。

技术实现思路

[0005]本专利技术的目的就在于为了解决上述至少一个技术问题而提供一种汽车座舱用手势识别系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种汽车座舱用手势识别系统的网络架构，其特征在于：所述网络架构包括智能车载设备，所述智能车载设备包括预存有预设手势的存储模块、用以采集用户手势动作的手势采集模块、用以比对所采集的用户手势动作与预设手势的相似度并生成比对结果的手势识别模块及用以接收所述比对结果生成手势指令并根据所述手势指令执行与所述手势指令相对应的操作的数据处理模块。2.一种汽车座舱用手势识别系统的训练方法，其特征在于，所述训练方法包括：步骤S1，由高清摄像机所拍摄的RGB图像和热成像相机所拍摄的热图制作样本数据，并通过数据传输装置将图像传输到车载数据处理中心；步骤S2，将RGB图像和热成像图配准融合后，采用基于Retinex理论改进的双边自适应Gamma增强算法进行图像特征增强；步骤S3，采用梯度下降优化的深度卷积对抗式生成网络，对步骤S1中的手势样本图像进行扩展；步骤S4，将步骤S2手势图像中生成的手势拓展图片进行添加框图和标签，将生成的拓展图片和标签输入到后续的神经网络中；步骤S5，采用ResNet50模型作为帧级特征提取网络，采用3个平行的3DCNN流，每个流分别接收不同的RGB图像：检测到的手势的RGB图像，每一个平行的3DCNN流都是一个3D
‑
ResNet50模型；3个3DCNN的输出被连接并输入到模型的下一步；将512个单元放置在每个3D
‑
ResNet50之后全连接层中，这些单元独立于数据集固定；步骤S6，采用所提出的共同注意力机制的手势识别网络VQA获得最相关的图像手势特征和相应的语义，参与的图像和语义特征向量被连接到一个softmax层进行最终的结果输出；步骤S7，以训练好的CoAttention手势识别模型为核心设计动态手势识别应用程序，将动态手势识别应用程序中预定义的答案集的大小设置为数据集中的手势标签的数量；步骤S8，将设备采集的实时数据通过数据传输装置传入动态手势识别应用程序，根据实时视频中的包含的关键特征信息进行手势分类识别，并将相关的手势识别信息通过数据传输装置上传至SQL Server数据库进行存储。3.根据权利要求2所述的一种汽车座舱用手势识别系统的训练方法，其特征在于：所述步骤S2
‑
S3中，选用的网络结构和算法同时考虑了精度和代码复杂度，针对汽车座舱的特殊环境进行图像增强、特征提取和重建。4.根据权利要求2所述的一种汽车座舱用手势识别系统的训练方法，其特征在于：所述步骤S3中，具体包括：步骤S3.1，输入步骤S1中采集的手势样本X
real
，并设置MBGD的迭代次数和步长；步骤S3.2，由生成器生成样本图片X
fake
，并在样本图片X
fake
上增加随机分布的噪声Z～N(0，1)
z
；步骤S3.3，判别器对真实样本损失D(X)进行计算，获得真实样本判别器S
real
＝D(X)；判别器对生成样本损失进行计算，获得生成样本判别器步骤S3.4，判别器采用小批量梯度下降算法进行迭代更新，判别器学习率L
D
＝log(S
real
)+log(1
‑
S
fake
)，
步骤S3.5，生成器采用小批量梯度下降算法进...

【专利技术属性】
技术研发人员：刘新华，贺之彬，郝敬宾，华德正，祁鹏，刘晓帆，周皓，王晴晴，格热戈尔茨，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：