通过车对车连接警告驾驶员的异常状态的方法和装置制造方法及图纸

本发明专利技术涉及一种方法，其基于深度学习检测车辆的驾驶员的异常状态并给予警告，其包括：步骤(a)，将所述车辆的室内图像输入到睡意检测网络中，检测所述特定驾驶员的面部，在所述面部中检测眼部，通过检测眨眼状态来判断睡意状态，将所述室内图像输入到姿势匹配网络中，检测所述驾驶员的身体关键点(body key point)，并判断所述身体关键点是否与预设驾驶姿势中的一个匹配，从而判断所述异常状态；以及步骤(b)，当参考所述睡意状态和所述异常状态中的一个，判断所述驾驶员处于危险状态时，通过车对车(vehicle‑to‑vehicle，V2V)通信，将关于所述危险状态的信息传输给周边车辆，使周边车辆识别所述危险状态。

【技术实现步骤摘要】
通过车对车连接警告驾驶员的异常状态的方法和装置
本专利技术涉及一种方法和装置，其基于深度学习(deeplearning)检测车辆驾驶员的睡意状态和异常状态，从而对所述睡意状态和异常状态给予警告，更具体地，涉及一种方法和装置，其基于所述车辆的室内图像中的所述驾驶员的眨眼状态，检测所述驾驶员的所述睡意状态，并通过参考所述驾驶员的姿势检测所述驾驶员的所述异常状态，并给予警告。
技术介绍
车辆交通事故中，造成最大伤害的事故是在驾驶中发生的，其中大多数是由疲劳驾驶、酒后驾车、注意力分散等引起的。作为预先防止这种交通事故的方法，过去，只能是驾驶员自己自觉谨慎，但最近，通过运用技术来监视驾驶员的状态，并警告驾驶员，从而引导安全驾驶。作为对其的典型技术，可以举例驾驶员状态监视装置(Driven-StateMonitoringDevice，DSM)。驾驶员状态监视装置利用近红外(NearInfra-Red，NIR)相机，将近红外线投射到驾驶员的面部，由此获取驾驶员的人脸图像来监视驾驶员的人脸。对眨眼频率、眨眼次数等眨眼的特性设置优先顺序，并运用对接近睡意要素分配权重的算法，判断驾驶员是否犯困。另外，通过识别人脸方向和眼睛状态来判断注意力分散状态，并且当判断驾驶员在预设时间内没有注视前方时，驾驶员会受到警告。然而，这种传统方法中存在的问题为，当驾驶员陷入无法回应这种警告的状态时，对驾驶者的警告将变得毫无意义。并且，在这种传统方法中，当驾驶员的姿势改变时，利用相机检测驾驶员的异常状态是有限的。因此，本专利技术提出一种用于有效地检测表示驾驶员的睡意驾驶或异常状态等的危险状态，以预先防止交通事故的方案。
技术实现思路
本专利技术的目的在于解决所有上述问题。本专利技术的另一目的在于能够有效地检测特定驾驶员的至少一个异常状态。本专利技术的再一目的在于能够向特定驾驶员的周边车辆的驾驶员警告特定驾驶员的异常状态。本专利技术的又一目的在于能够防止由于特定驾驶员的异常状态可能发生的交通事故。为了达到如上所述的本专利技术的目的，并且实现后述的本专利技术的特征效果的，本专利技术的特定结构如下。根据本专利技术的一个方面，公开了一种方法，其基于深度学习来检测特定车辆的特定驾驶员的睡意状态和异常状态，并给予警告，其特征在于，包括：步骤(a)，当获取所述特定车辆内部的至少一个室内图像时，驾驶员状态检测装置执行过程(i)以及过程(ii)中的至少一个，其中，过程(i)，将所述室内图像输入到睡意检测网络中，使所述睡意检测网络，在所述室内图像中检测所述特定驾驶员的至少一个面部，在所述面部中检测所述特定驾驶员的至少一个眼部，并检测所述特定驾驶员的至少一个眼睛的眨眼状态，从而判断所述特定驾驶员的所述睡意状态，过程(ii)，将所述室内图像输入到姿势匹配网络中，使所述姿势匹配网络，在所述室内图像中检测与所述特定驾驶员的身体相对应的一个以上的身体关键点(bodykeypoint)，并判断所述身体关键点是否与预设驾驶姿势中的一个匹配，从而判断所述特定驾驶员的所述异常状态；以及步骤(b)，当参考所述睡意检测网络输出的所述特定驾驶员的所述睡意状态以及所述姿势匹配网络输出的所述特定驾驶员的所述异常状态中的至少一个，判断所述特定驾驶员处于危险状态时，所述驾驶员状态检测装置执行如下过程，所述过程为通过车对车(vehicle-to-vehicle，V2V)通信，将关于所述特定驾驶员的所述危险状态的信息传输给一个以上的周边车辆，使所述周边车辆的一个以上的周边驾驶员识别所述特定驾驶员的所述危险状态的过程。一实施例中，在所述步骤(a)中，所述驾驶员状态检测装置，使所述睡意检测网络，(i)(i-1)通过人脸检测器的卷积(convolution)层，将至少一个卷积运算适用于所述室内图像中，生成至少一个特征图，(i-2)通过所述人脸检测器的区域建议网络(RegionProposalNetwork，RPN)生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(i-3)通过所述人脸检测器的池化层，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(i-4)通过所述人脸检测器的全连接层，对所述特征矢量适用至少一个FC运算，生成至少一个FC输出值，(i-5)对所述FC层的所述FC输出值，适用至少一个分类运算和至少一个回归运算，输出每个所述对象的类别信息和回归信息之后，通过所述人脸检测器的分类层和回归层检测所述室内图像上的所述特定驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框，(ii)通过眼睛检测器将所述面部转换为至少一个修正统计变换(ModifiedCensusTransform，MCT)图像，其中，所述面部的亮度与局部的平均亮度之间的差异被编码成所述MCT图像，使用自适应提升(Adaboost)算法，根据从所述MCT图像中获取的眼睛检测用特征数据，检测所述特定驾驶员的所述眼部，并参考所述眼部的所述眼睛的睁闭状态，检测所述眼睛的所述眨眼状态。一实施例中，在所述步骤(a)中，所述驾驶员状态检测装置，使所述姿势匹配网络，(i)通过特征提取器在所述室内图像中提取一个以上的特征而生成一个以上的特征张量，(ii)通过关键点热图(keypointheatmap)和部分亲和字段(partaffinityfield)提取器生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和字段，(iii)在每个所述关键点热图中提取一个以上的关键点，并参考每个所述部分对亲和字段，对提取的关键点进行分组(grouping)，从而通过关键点分组层，生成与位于所述室内图像的所述特定驾驶员相对应的所述身体关键点。一实施例中，所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述特征提取器的至少一个卷积层，对所述室内图像适用至少一个卷积运算，从而生成所述特征张量。一实施例中，所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述关键点热图和部分亲和字段提取器的全卷积(fullyconvolution)网络或至少一个1×1卷积层，对所述特征张量适用至少一个全卷积运算或至少一个1×1卷积运算，从而生成对应每个所述特征张量的所述关键点热图和所述部分亲和字段。一实施例中，所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述关键点分组层，提取每个所述关键点热图上的每个最高点作为与每个所述关键点热图相对应的每个所述关键点。一实施例中，所述驾驶员状态检测装置，使所述姿势匹配网络通过所述关键点分组层，参考所述部分亲和字段，分别连接在所述被提取的关键点对中具有最高相互连接概率的对，从而对所述被提取的关键点进行分组。一实施例中，在所述步骤(a)中，当所述特定驾驶员的所述眼睛闭合，且所述眼睛的闭合时间为预设第一阈值以上时，所述驾驶状态检测装置执行，使所述睡意检测网络判断所述特定驾驶员为所述睡意状态的过程。一实施例中，在所述步骤(a)中，当所述身体关键点不与所述任一驾驶姿势匹配，并且，所本文档来自技高网...

【技术保护点】
1.一种方法，其基于深度学习来检测特定车辆的特定驾驶员的睡意状态和异常状态，并给予警告，其特征在于，包括：/n步骤(a)，当获取所述特定车辆内部的至少一个室内图像时，驾驶员状态检测装置执行过程(i)以及过程(ii)中的至少一个，其中，过程(i)，将所述室内图像输入到睡意检测网络中，使所述睡意检测网络，在所述室内图像中检测所述特定驾驶员的至少一个面部，在所述面部中检测所述特定驾驶员的至少一个眼部，并检测所述特定驾驶员的至少一个眼睛的眨眼状态，从而判断所述特定驾驶员的所述睡意状态，过程(ii)，将所述室内图像输入到姿势匹配网络中，使所述姿势匹配网络，在所述室内图像中检测与所述特定驾驶员的身体相对应的一个以上的身体关键点，并判断所述身体关键点是否与预设驾驶姿势中的一个匹配，从而判断所述特定驾驶员的所述异常状态；以及/n步骤(b)，当参考所述睡意检测网络输出的所述特定驾驶员的所述睡意状态以及所述姿势匹配网络输出的所述特定驾驶员的所述异常状态中的至少一个，判断所述特定驾驶员处于危险状态时，所述驾驶员状态检测装置执行的过程为，通过车对车通信，将关于所述特定驾驶员的所述危险状态的信息传输给一个以上的周边车辆，使所述周边车辆的一个以上的周边驾驶员识别所述特定驾驶员的所述危险状态。/n...

【技术特征摘要】
20190131 US 62/799,181;20200109 US 16/738,4841.一种方法，其基于深度学习来检测特定车辆的特定驾驶员的睡意状态和异常状态，并给予警告，其特征在于，包括：
步骤(a)，当获取所述特定车辆内部的至少一个室内图像时，驾驶员状态检测装置执行过程(i)以及过程(ii)中的至少一个，其中，过程(i)，将所述室内图像输入到睡意检测网络中，使所述睡意检测网络，在所述室内图像中检测所述特定驾驶员的至少一个面部，在所述面部中检测所述特定驾驶员的至少一个眼部，并检测所述特定驾驶员的至少一个眼睛的眨眼状态，从而判断所述特定驾驶员的所述睡意状态，过程(ii)，将所述室内图像输入到姿势匹配网络中，使所述姿势匹配网络，在所述室内图像中检测与所述特定驾驶员的身体相对应的一个以上的身体关键点，并判断所述身体关键点是否与预设驾驶姿势中的一个匹配，从而判断所述特定驾驶员的所述异常状态；以及
步骤(b)，当参考所述睡意检测网络输出的所述特定驾驶员的所述睡意状态以及所述姿势匹配网络输出的所述特定驾驶员的所述异常状态中的至少一个，判断所述特定驾驶员处于危险状态时，所述驾驶员状态检测装置执行的过程为，通过车对车通信，将关于所述特定驾驶员的所述危险状态的信息传输给一个以上的周边车辆，使所述周边车辆的一个以上的周边驾驶员识别所述特定驾驶员的所述危险状态。


2.根据权利要求1所述的方法，其特征在于，
在所述步骤(a)中，
所述驾驶员状态检测装置，使所述睡意检测网络，(i)(i-1)通过人脸检测器的卷积层，将至少一个卷积运算适用于所述室内图像中，生成至少一个特征图，(i-2)通过所述人脸检测器的区域建议网络生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(i-3)通过所述人脸检测器的池化层，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(i-4)通过所述人脸检测器的全连接层，对所述特征矢量适用至少一个全连接运算，生成至少一个全连接输出值，(i-5)对所述全连接层的所述全连接输出值，适用至少一个分类运算和至少一个回归运算，输出每个所述对象的类别信息和回归信息之后，通过所述人脸检测器的分类层和回归层检测所述室内图像上的所述特定驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框，(ii)通过眼睛检测器将所述面部转换为至少一个修正统计变换图像，其中，所述面部的亮度与局部的平均亮度之间的差异被编码成所述修正统计变换图像，使用自适应提升算法，根据从所述修正统计变换图像中获取的眼睛检测用特征数据，检测所述特定驾驶员的所述眼部，并参考所述眼部的所述眼睛的睁闭状态，检测所述眼睛的所述眨眼状态。


3.根据权利要求1所述的方法，其特征在于，
在所述步骤(a)中，
所述驾驶员状态检测装置，使所述姿势匹配网络，(i)通过特征提取器在所述室内图像中提取一个以上的特征而生成一个以上的特征张量，(ii)通过关键点热图和部分亲和字段提取器生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和字段，(iii)在每个所述关键点热图中提取一个以上的关键点，并参考每个所述部分对亲和字段，对提取的关键点进行分组，从而通过关键点分组层，生成与位于所述室内图像的所述特定驾驶员相对应的所述身体关键点。


4.根据权利要求3所述的方法，其特征在于，
所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述特征提取器的至少一个卷积层，对所述室内图像适用至少一个卷积运算，从而生成所述特征张量。


5.根据权利要求3所述的方法，其特征在于，
所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述关键点热图和部分亲和字段提取器的全卷积网络或至少一个1×1卷积层，对所述特征张量适用至少一个全卷积运算或至少一个1×1卷积运算，从而生成对应每个所述特征张量的所述关键点热图和所述部分亲和字段。


6.根据权利要求3所述的方法，其特征在于，
所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述关键点分组层，提取每个所述关键点热图上的每个最高点作为与每个所述关键点热图相对应的每个所述关键点。


7.根据权利要求6所述的方法，其特征在于，
所述驾驶员状态检测装置，使所述姿势匹配网络通过所述关键点分组层，参考所述部分亲和字段，分别连接在所述被提取的关键点对中具有最高相互连接概率的对，从而对所述被提取的关键点进行分组。


8.根据权利要求1所述的方法，其特征在于，
在所述步骤(a)中，
当所述特定驾驶员的所述眼睛闭合，且所述眼睛的闭合时间为预设第一阈值以上时，所述驾驶状态检测装置执行，使所述睡意检测网络判断所述特定驾驶员为所述睡意状态的过程。


9.根据权利要求1所述的方法，其特征在于，
在所述步骤(a)中，
当所述身体关键点不与任一驾驶姿势匹配，并且，所述身体关键点与所述任一驾驶姿势保持不匹配的状态的持续时间为预设第二阈值以上时，所述驾驶员状态检测装置，使所述姿势匹配网络，判...

【专利技术属性】
技术研发人员：金桂贤，金镕重，金鹤京，南云铉，夫硕焄，成明哲，申东洙，吕东勋，柳宇宙，李明春，李炯树，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR