一种基于迁移学习的汽车驾驶员状态监测方法及系统技术方案

本发明专利技术公开了一种基于迁移学习的汽车驾驶员状态监测方法及系统，属于驾驶员状态监测技术领域，解决了的驾驶员状态监测的准确率低以及过度依靠面部特征的问题。一种基于迁移学习的汽车驾驶员状态监测方法，包括以下步骤：在Kaggle数据集的基础上，增加一定数量的驾驶员整体状态图片，得到混合数据集；选择迁移学习模型，确定迁移学习模型中的模型参数和模型优化器，使用模型优化器对迁移学习模型进行优化，建立初始CNN模型；获取迁移学习模型的最优Fine‑tune层数，对初始CNN模型进行优化，得到优化后的CNN模型；利用所述混合数据集，对所述优化后的CNN模型利进行训练，得到训练后的CNN模型，利用所述训练后的CNN模型对汽车驾驶员状态进行监测识别。实现了提高驾驶员状态监测的准确率。

A method and system of driver condition monitoring based on Transfer Learning

The invention discloses a method and system of automobile driver state monitoring based on transfer learning, belonging to the technical field of driver state monitoring, which solves the problems of low accuracy of driver state monitoring and excessive dependence on facial features. A method of automobile driver condition monitoring based on migration learning includes the following steps: on the basis of kaggle data set, a certain number of overall driver condition pictures are added to get the mixed data set; the migration learning model is selected to determine the model parameters and model optimizer in the migration learning model, and the model optimizer is used to optimize the migration learning model to establish the initial stage First CNN model; obtain the optimal fine \u2011 tune layer number of the migration learning model, optimize the initial CNN model, and get the optimized CNN model; use the mixed data set to train the optimized CNN model, and get the trained CNN model, and use the trained CNN model to monitor and identify the driver status. It improves the accuracy of driver condition monitoring.

【技术实现步骤摘要】
一种基于迁移学习的汽车驾驶员状态监测方法及系统
本专利技术涉及驾驶员状态监测
，尤其是涉及一种基于迁移学习的汽车驾驶员状态监测方法及系统。
技术介绍
随着汽车行业的不断发展，“驾驶安全”这一问题也越发引起人们的关注，如果可以准确检测到司机的高风险状态，并通过外设进行警则可以降低汽车行驶过程中事故发生率，降低事故风险。目前已有的对于汽车驾驶员状态监测的方法和技术主要有，1、基于图像识别的驾驶员状态监测，通过获取驾驶员面部以及其他部位的图片信息，对图片信息进行语义分割从而判断驾驶员是否处于疲劳等高风险驾驶状态；2、通过人体生理特征判断司机是否处于危险状态；现有方法中，基于人体生理特征的驾驶员状态监测方法有一定的局限性，传感器的精度以及监测方法，识别方法的准确性都会对监测结果产生很大的影响，同时受到温度、湿度以及人体状态等环境的影响因素过大，有可能出现错误判以及漏判等情况。基于图像识别大多是基于面部的驾驶员状态监测，通过提取眼睛和嘴巴的状态判断驾驶员是否处于疲劳状态；但是仅依靠面部特征很难准确完整的识别驾驶员状态，当驾驶员存在操作车载控制台播放音乐、拨打电话、整理头发等危险行为时，仅仅从面部特征很难准确的判定驾驶员状态；同时，由于开源的图像数据库中人脸的数据库以及神经网络训练难等因素，应用神经网络的方法都是基于面部的图像识别，且应用较少。
技术实现思路
本专利技术的目的在于至少克服上述一种技术不足，提出一种基于迁移学习的汽车驾驶员状态监测方法及系统。一方面，本专利技术提供一种基于迁移学习的汽车驾驶员状态监测方法，包括以下步骤：步骤S1、在Kaggle数据集的基础上，增加一定数量的驾驶员整体状态图片，得到混合数据集；步骤S2、选择迁移学习模型，确定迁移学习模型中的模型参数和模型优化器，使用模型优化器对迁移学习模型进行优化，建立初始CNN模型；步骤S3、采用贝叶斯优化方法获取迁移学习模型的最优Fine-tune层数，根据所述利用最优Fine-tune层数对初始CNN模型进行优化，得到优化后的CNN模型；步骤S4、利用所述混合数据集，对所述优化后的CNN模型利进行训练，得到训练后的CNN模型，利用所述训练后的CNN模型对汽车驾驶员状态进行监测识别。进一步地，所述步骤S1还包括，对所述混合数据集中训练集数据进行旋转、平移、裁剪、灰度变换中的至少一种处理，以增强所述训练集数据的数据多样性。进一步地，所述使用模型优化器对迁移学习模型进行优化，具体包括，使用Adam优化器、RMSProp优化器分别对梯度的一阶矩进行估计和二阶矩进行估计，计算出更新步长，从而进行参数优化。进一步地，所述采用贝叶斯优化方法获取迁移学习模型的最优Fine-tune层数，具体包括：建立构建目标函数f(x)＝myloss(logloss(x))，通过代理模型找到最小化目标函数的值，然后建立域空间获取迁移学习模型的最优Fine-tune层数；其中，x为Fine-tune层数，logloss()为损失函数，myloss()为利用CNN架构将损失函数与Fine-tune层数结合的函数。另一方面，本专利技术还提供了一种基于迁移学习的汽车驾驶员状态监测系统，包括数据集获取模块、初始CNN模型建立模块、CNN模型优化模块、CNN模型训练模块和驾驶员状态监测识别模块；所述数据集获取模块，用于在Kaggle数据集的基础上，增加一定数量的驾驶员整体状态图片，得到混合数据集；所述初始CNN模型建立模块，用于选择迁移学习模型，确定迁移学习模型中的模型参数和模型优化器，使用模型优化器对迁移学习模型进行优化，建立初始CNN模型；所述CNN模型优化模块，用于采用贝叶斯优化方法获取迁移学习模型的最优Fine-tune层数，根据所述利用最优Fine-tune层数对初始CNN模型进行优化，得到优化后的CNN模型；所述CNN模型训练模块，用于利用所述混合数据集，对所述优化后的CNN模型利进行训练，得到训练后的CNN模型；驾驶员状态监测识别模块，用于利用所述训练后的CNN模型对汽车驾驶员状态进行监测识。进一步地，所述数据集获取模块包括数据多样性增强单元，所述数据多样性增强单元，用于对所述混合数据集中训练集数据进行旋转、平移、裁剪、灰度变换中的至少一种处理，以增强所述训练集数据的数据多样性。进一步地，所述初始CNN模型建立模块使用模型优化器对迁移学习模型进行优化，具体包括：初始CNN模型建立模块使用Adam优化器、RMSProp优化器分别对梯度的一阶矩进行估计和二阶矩进行估计，计算出更新步长，从而进行参数优化。进一步地，所述CNN模型优化模块采用贝叶斯优化方法获取迁移学习模型的最优Fine-tune层数。具体包括：建立构建目标函数f(x)＝myloss(logloss(x))，通过代理模型找到最小化目标函数的值，然后建立域空间获取迁移学习模型的最优Fine-tune层数；其中，x为Fine-tune层数，logloss()为损失函数，myloss()为利用CNN架构将损失函数与Fine-tune层数结合的函数。与现有技术相比，本专利技术的有益效果包括：通过在Kaggle数据集的基础上，增加一定数量的驾驶员整体状态图片，得到混合数据集，为了减少由于人种差异而带来的误差；同时增加的驾驶员状态图片为非单一脸部特征图片，解决了仅仅从面部特征很难准确的判定驾驶员状态的问题；增强所述训练集数据的数据多样性，避免了数据集因相似度过大所造成的的模型易过拟合问题；利用迁移学习模型使得使得计算成本大大降低，通过对CNN模型的优化，提高了驾驶员状态监测的准确率。附图说明图1是本专利技术实施例1所述基于迁移学习的汽车驾驶员状态监测方法的流程示意图；图2是本专利技术实施例1所述部分驾驶员整体状态图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例1本专利技术的实施例提供了一种基于迁移学习的汽车驾驶员状态监测方法，包括以下步骤：步骤S1、在Kaggle数据集的基础上，增加一定数量的驾驶员整体状态图片，得到混合数据集；步骤S2、选择迁移学习模型，确定迁移学习模型中的模型参数和模型优化器，使用模型优化器对迁移学习模型进行优化，建立初始CNN模型；步骤S3、采用贝叶斯优化方法获取迁移学习模型的最优Fine-tune层数，根据所述利用最优Fine-tune层数对初始CNN模型进行优化，得到优化后的CNN模型；步骤S4、利用所述混合数据集，对所述优化后的CNN模型利进行训练，得到训练后的CNN模型，利用所述训练后的CNN模型对汽车驾驶员状态进行监测识别。本专利技术实施例训练CNN模型的数据来源于Kaggle的StateFarmDi本文档来自技高网...

【技术保护点】
1.一种基于迁移学习的汽车驾驶员状态监测方法，其特征在于，包括以下步骤：/n步骤S1、在Kaggle数据集的基础上，增加一定数量的驾驶员整体状态图片，得到混合数据集；/n步骤S2、选择迁移学习模型，确定迁移学习模型中的模型参数和模型优化器，使用模型优化器对迁移学习模型进行优化，建立初始CNN模型；/n步骤S3、采用贝叶斯优化方法获取迁移学习模型的最优Fine-tune层数，根据所述利用最优Fine-tune层数对初始CNN模型进行优化，得到优化后的CNN模型；/n步骤S4、利用所述混合数据集，对所述优化后的CNN模型利进行训练，得到训练后的CNN模型，利用所述训练后的CNN模型对汽车驾驶员状态进行监测识别。/n

【技术特征摘要】
1.一种基于迁移学习的汽车驾驶员状态监测方法，其特征在于，包括以下步骤：
步骤S1、在Kaggle数据集的基础上，增加一定数量的驾驶员整体状态图片，得到混合数据集；
步骤S2、选择迁移学习模型，确定迁移学习模型中的模型参数和模型优化器，使用模型优化器对迁移学习模型进行优化，建立初始CNN模型；
步骤S3、采用贝叶斯优化方法获取迁移学习模型的最优Fine-tune层数，根据所述利用最优Fine-tune层数对初始CNN模型进行优化，得到优化后的CNN模型；
步骤S4、利用所述混合数据集，对所述优化后的CNN模型利进行训练，得到训练后的CNN模型，利用所述训练后的CNN模型对汽车驾驶员状态进行监测识别。


2.根据权利要求1所述的基于迁移学习的汽车驾驶员状态监测方法，其特征在于，所述步骤S1还包括，对所述混合数据集中训练集各数据进行旋转、平移、裁剪、灰度变换中的至少一种处理，将处理后的数据增加到原训练集数据中，以增强所述训练集数据的数据多样性。


3.根据权利要求1所述的基于迁移学习的汽车驾驶员状态监测方法，其特征在于，所述使用模型优化器对迁移学习模型进行优化，具体包括，使用Adam优化器、RMSProp优化器分别对梯度的一阶矩进行估计和二阶矩进行估计，计算出更新步长，从而进行参数优化。


4.根据权利要求1所述基于迁移学习的汽车驾驶员状态监测方法，其特征在于，所述采用贝叶斯优化方法获取迁移学习模型的最优Fine-tune层数，具体包括：
建立构建目标函数f(x)＝myloss(logloss(x))，通过代理模型找到最小化目标函数的值，然后建立域空间获取迁移学习模型的最优Fine-tune层数；其中，x为Fine-tune层数，logloss()为损失函数，myloss()为利用CNN架构将损失函数与Fine-tune层数结合的函数。


5.一种基于迁移学习的汽车驾驶员状态监测系统，其特征在于，包括数据集获取模块、初始CNN模型建立模块、CNN模型优化模块、CNN模型训练模块和驾驶员状态...

【专利技术属性】
技术研发人员：魏翼鹰，杨涛，吴波，徐劲力，艾星然，刘佳俊，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北;42