驾驶检测模型的训练、使用方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开了一种驾驶检测模型的训练、使用方法、装置、设备及介质。所述训练方法包括：获取自标注的训练样本；其中，训练样本包括驾驶员图像样本和驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果；采用初始驾驶检测模型中基准网络，从自标注的训练样本中提取得到多尺度图像特征；采用多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。采用本申请方案，将多个检测任务集成在一个模型，相比多个单任务的检测模型，其模型数量从三个变为一个，意味着需要更少存储空间和内存，因此可有效提高检测运行效率及降低资源消耗。

【技术实现步骤摘要】
驾驶检测模型的训练、使用方法、装置、设备及介质
本专利技术实施例涉及计算机视觉
，尤其涉及一种驾驶检测模型的训练、使用方法、装置、设备及介质。
技术介绍
随着经济和交通运输业的高速发展，汽车已经逐渐普及到家家户户。随之而来的各种交通事故成为当前需面对的严重问题，尤其是类似疲劳驾驶所导致的道路交通事故占全部交通事故的比例较大，因此，需在任何不安全状态下及时提醒驾驶员安全行车的技术。目前，对于车内驾驶人员的检测，主要是基于传统的图像处理、模型识别以及高耗时大内存的深度学习技术来进行训练和检测。但是，基于图像处理或者模式识别存在环境适应性差，识别准确率低等缺点。因此，如何在保证检测准确性和环境适应性进行模型训练成为一种迫切需要解决的问题。
技术实现思路
本专利技术实施例中提供了一种驾驶检测模型的训练、使用方法、装置、设备及介质，以实现在保证检测准确率和环境适应性的情况下对驾驶员进行检测。第一方面，本专利技术实施例中提供了一种驾驶检测模型的训练方法，包括：获取自标注的训练样本；其中，所述训练样本包括驾驶员图像样本和所述驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果；采用初始驾驶检测模型中基准网络，从所述自标注的训练样本中提取得到多尺度图像特征；采用所述多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。第二方面，本专利技术实施例中还提供了一种驾驶检测模型的使用方法，所述驾驶检测模型采用本申请实施例中的驾驶检测模型的训练方法训练获得，所述驾驶检测模型的使用方法包括：将采集的驾驶员图像输入到训练完成的驾驶检测模型中，获得所述驾驶员图像中驾驶员的人脸位置信息、人脸关键点位置信息以及安全带位置信息；依据所述人脸位置信息、人脸关键点位置信息以及安全带位置信息，对驾驶员进行疲劳预警，以进行安全驾驶。第三方面，本专利技术实施例中还提供了一种驾驶检测模型的训练装置，包括：训练样本获取模块，用于获取自标注的训练样本；其中，所述训练样本包括驾驶员图像样本和所述驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果；尺度特征提取模块，用于采用初始驾驶检测模型中基准网络，从所述自标注的训练样本中提取得到多尺度图像特征；检测模型训练模块，用于采用所述多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。第四方面，本专利技术实施例中还提供了一种驾驶检测模型的使用装置，所述驾驶检测模型采用本申请实施例中的驾驶检测模型的训练方法训练获得，所述驾驶检测模型的使用装置包括：驾驶员信息识别模块，用于将采集的驾驶员图像输入到训练完成的驾驶检测模型中，获得所述驾驶员图像中驾驶员的人脸位置信息、人脸关键点位置信息以及安全带位置信息；疲劳驾驶预警模块，用于依据所述人脸位置信息、人脸关键点位置信息以及安全带位置信息，对驾驶员进行疲劳预警，以进行安全驾驶。第五方面，本专利技术实施例中还提供了一种电子设备，包括：一个或多个处理装置；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本专利技术任意实施例中提供的所述驾驶检测模型的训练方法或者所述驾驶检测模型的使用方法。第六方面，本专利技术实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如本专利技术任意实施例中提供的所述驾驶检测模型的训练方法或者所述驾驶检测模型的使用方法。本专利技术实施例中提供了一种驾驶检测模型的训练方法，在使用包括驾驶员图像的训练样本进行驾驶检测模型训练时，可先通过初始驾驶检测模型中基准网络从训练样本中提取多尺度图像特征，并将提取的多尺度图像特征提供给初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络来一体化监督训练。采用本申请方案，将人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络在同一个模型进行监督训练，多个分支网络能够共享使用基准网络提取的多尺度图像特征，这样一来只需要一遍多尺度图像特征的提取操作，而不需要针对每一个分支网络均提取一遍，能够有效避免额外增加提取这部分多尺度图像特征的任务量，大幅度降低了模型训练的任务量；而且，由于将多个检测任务集成在一个驾驶检测模型，相比多个单任务的检测模型，其模型数量从三个变为一个，意味着需要更少的存储空间和内存以及更快的运行时间，因此可有效提高检测运行效率及降低资源消耗。上述
技术实现思路
仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是本专利技术实施例中提供的一种驾驶检测模型的训练方法的流程图；图2是本专利技术实施例中提供的一种驾驶检测模型的多任务检测的简略示意图；图3是本专利技术实施例中提供的一种对驾驶检测模型进行训练的架构示意图；图4是本专利技术实施例中提供的另一种驾驶检测模型的训练方法的流程图；图5是本专利技术实施例中提供的又一种驾驶检测模型的训练方法的流程图；图6是本专利技术实施例中提供的一种驾驶检测模型的使用方法的流程图；图7是本专利技术实施例中提供的一种驾驶检测模型的训练装置的结构框图；图8是本专利技术实施例中提供的一种电子设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。下面针对本申请中提供的驾驶检测模型的训练方案和使用方案，通过以下各个实施例及其可选方案进行详细阐述。图1是本专利技术实施例中提供的一种驾驶检测模型的训练方法的流程图。本专利技术实施例可适用于对集成有人脸检测任务、人脸关键点检测任务和安全带检测任务的模型进行一体化训练的情形。该方法可由驾驶检测模型的训练装置来执行，该装置可以采用软件和/或硬件本文档来自技高网...

【技术保护点】
1.一种驾驶检测模型的训练方法，其特征在于，包括：/n获取自标注的训练样本；其中，所述训练样本包括驾驶员图像样本和所述驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果；/n采用初始驾驶检测模型中基准网络，从所述自标注的训练样本中提取得到多尺度图像特征；/n采用所述多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。/n

【技术特征摘要】
1.一种驾驶检测模型的训练方法，其特征在于，包括：
获取自标注的训练样本；其中，所述训练样本包括驾驶员图像样本和所述驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果；
采用初始驾驶检测模型中基准网络，从所述自标注的训练样本中提取得到多尺度图像特征；
采用所述多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。


2.根据权利要求1所述的方法，其特征在于，所述人脸标注结果包括预先标注的所述驾驶员图像中的人脸位置信息，所述人脸关键点标注结果包括预先标注的所述驾驶员图像中的人脸关键点位置信息，所述安全带标注结果包括预先标注的所述驾驶员图像中的安全带位置信息。


3.根据权利要求1所述的方法，其特征在于，所述基准网络包括利用不同尺寸卷积核的卷积层分别构成的多个特征提取分支结构，所述特征提取分支结构中包括至少一个带孔卷积层。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将初步搭建的驾驶检测模型中的基准网络，在ImageNet上进行预训练，得到对基准网络进行初步预训练的驾驶检测模型，以作为初始驾驶检测模型。


5.根据权利要求1所述的方法，其特征在于，采用所述多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行交替监督训练，包括：
分别设定所述人脸检测分支网络、所述人脸关键点检测分支网络以及所述安全带检测分支网络的初始损失权重；
基于分别设定的所述初始损失权重，采用所述多尺度图像特征交替对所述人脸检测分支网络、所述人脸关键点检测分支网络以及所述安全带检测分支网络进行监督训练。


6.根据权利要求5所述的方法，其特征在于，采用所述多尺度图像特征交替对所述人脸检测分支网络、所述人脸关键点检测分支网络以及所述安全带检测分支网络进行监督训练，包括：
固定所述初始驾驶检测模型中安全带检测分支网络的网络模型参数，采用所述多尺度图像特征对所述初始驾驶检测模型中基准网络、人脸检测分支网络以及人脸关键点检测分支网络组合在一起进行监督训练，以得到第一候选驾驶检测模型；
固定所述第一候选驾驶检测模型中的基准网络、所述人脸检测分支网络以及所述人脸关键点检测分支网络的网络模型参数，采用所述多尺度图像特征单独对所述第一候选驾驶检测模型中安全带检测分支网络进行监督训练，以得到第二候选驾驶检测模型；
采用所述多尺度图像特征对所述第二候选驾驶检测模型中基准网络、人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络组合在一起进行监督训练。


7.根据权利要求1所述的方法，其特征在于，在得到目标驾驶检测模型之后，还包括：
分别采用不同的损失权重配置信息，对所述目标驾驶检测模型进行训练，并根据各个训练结果从各个损失权重配置信息中确定目标损失权重配置信息；
将所述目标驾驶检测模型中损失权重配置信息分别更新为所述目标损失权重配置信息，并对更新损失权重配置信息的目标驾驶检测模型进行训练，以得到更新后的目标驾驶检测模型；
其中，损失权重配置信息包括人脸检测分支网络、人脸关键点检测...

【专利技术属性】
技术研发人员：顾一新，
申请(专利权)人：东莞正扬电子机械有限公司，
类型：发明
国别省市：广东;44