一种基于人脸和手势识别的汽车自动解锁控制方法及系统技术方案

本发明专利技术公开了一种基于人脸和手势识别的汽车自动解锁控制方法及系统，包括以下步骤，采集模块对外部环境进行监控并采集外部图像；人脸检测模块识别出人脸图像并进行匹配；判断是否为车主，若是则提示模块做出提示，并等待车主做出手势；采集模块捕获车主的手势；手势检测模块对车主的手势进行识别，并在识别到解锁动作时发送信号给车锁模块解锁车门。本发明专利技术的有益效果：本发明专利技术提供的人脸+设定手势的解锁方式可以保证车辆的安全性，同时也保证了解锁方式的唯一性，比传统的钥匙解锁更加安全便捷。

An auto unlocking control method and system based on face and gesture recognition

【技术实现步骤摘要】
一种基于人脸和手势识别的汽车自动解锁控制方法及系统
本专利技术涉及智能识别的
，尤其涉及一种基于人脸和手势识别的汽车自动解锁控制方法及系统。
技术介绍
目前，在汽车的智能解锁中，常见的传统解锁方式包括蓝牙解锁或指纹识别解锁，而近年来飞速发展的AI识别技术并未普及到汽车领域，此前主要是由于摄像头的精度不够，且成本比较高，另外传统车辆的电源不足以对摄像头和系统进行长期供电，因此AI识别技术难以被利用至汽车的智能解锁问题中。但蓝牙解锁或指纹识别解锁均存在不同的问题，例如蓝牙解锁需要蓝牙钥匙配对，而指纹识别存在指纹模糊情况下不可识别的问题，并且难以确保解锁方式的唯一性，从而降低了车辆在解锁方面的安全性。
技术实现思路
本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。鉴于上述现有存在的问题，提出了本专利技术。因此，本专利技术解决的其中一个技术问题是：提出一种基于人脸和手势识别的汽车自动解锁控制方法，使车主能够使用人脸和解锁手势的方式对车辆进行解锁，保证了解锁方式的唯一性和安全性。为解决上述技术问题，本专利技术提供如下技术方案：一种基于人脸和手势识别的汽车自动解锁控制方法，包括以下步骤，采集模块对外部环境进行监控并采集外部图像；人脸检测模块识别出人脸图像并进行匹配；判断是否为车主，若是则提示模块做出提示，并等待车主做出手势；采集模块捕获车主的手势；手势检测模块对车主的手势进行识别，并在识别到解锁动作时发送信号给车锁模块解锁车门。作为本专利技术所述的基于人脸和手势识别的汽车自动解锁控制方法的一种优选方案，其中：停车且车主拔出钥匙下车关闭车门后，DILU监控系统控制车辆，并开启所述采集模块，开始对外部环境进行实时监控。作为本专利技术所述的基于人脸和手势识别的汽车自动解锁控制方法的一种优选方案，其中：所述人脸检测模块的工作还包括以下步骤，采集模块采集车主的人脸图像并存储于人脸检测模块；人脸识别模块基于opencv4对采集模块采集的外部图像中的人脸进行识别追踪；将识别到的人脸图像传输至人脸匹配模块，基于人脸匹配算法与车主的人脸图像对比，判断识别到的人脸图像是否为车主的人脸图像。作为本专利技术所述的基于人脸和手势识别的汽车自动解锁控制方法的一种优选方案，其中：所述人脸图像的对比还包括以下步骤，对脸部特征编码模型进行训练，输出训练后的脸部特征编码模型；利用训练后的脸部特征编码模型分别对输入的人脸图像和车主的人脸图像进行特征向量提取，得到输入的人脸图像和车主的人脸图像的128维特征向量；利用最近邻算法计算两张图像的128维特征向量的欧氏距离判断其相似度，若相似度大于某个阈值，则认为不是车主，否则判断为车主。作为本专利技术所述的基于人脸和手势识别的汽车自动解锁控制方法的一种优选方案，其中：所述判断还包括以下步骤，若判断识别到的人脸图像是车主的人脸图像，则提示模块做出提示，且采集模块等待车主做出手势；若判断识别到的人脸图像不是车主的人脸图像，则采集模块继续对外部环境进行监控，并由人脸检测模块识别出其它人脸图像进行匹配。作为本专利技术所述的基于人脸和手势识别的汽车自动解锁控制方法的一种优选方案，其中：所述手势检测模块的工作还包括以下步骤，通过采集模块采集预先设定的车辆解锁动作，并存储于手势检测模块中；手势识别模块基于opencv4对采集模块监控的外部环境中车主的整体动作进行追踪；将追踪到的动作图像传输至手势匹配模块基于手势匹配算法与预先设定的车辆解锁动作对比，判断车主意图。作为本专利技术所述的基于人脸和手势识别的汽车自动解锁控制方法的一种优选方案，其中：所述手势匹配算法为ConvolutionalPoseMachine算法，由全卷积网络序列化组成，卷积网络直接在前一阶段的置信图操作，输出越来越精细化的关节点位置估计结果，对最终得到的车主动作与预先设定的车辆解锁动作，一致时判断为解锁意图。作为本专利技术所述的基于人脸和手势识别的汽车自动解锁控制方法的一种优选方案，其中：所述判断车主意图还包括以下步骤，若手势匹配模块判断追踪到的动作图像是车辆解锁动作，则发送信号给车锁模块，令车辆自动解锁；若手势匹配模块判断追踪到的动作图像不是车辆解锁动作，则采集模块继续对车主的整体动作进行追踪并传输至手势检测模块。因此，本专利技术解决的另一个技术问题是：提出一种基于人脸和手势识别的汽车自动解锁控制系统，使上述控制方法能够依托于本系统实现。为解决上述技术问题，本专利技术提供如下技术方案：一种基于人脸和手势识别的汽车自动解锁控制系统，包括，采集模块，所述采集模块设置于车辆外侧，能够外部环境进行监控并采集外部图像；人脸检测模块，所述人脸检测模块用于对人脸图像进行识别和匹配，判断是否为车主；提示模块，所述提示模块能够在匹配到车主的人脸图像时做出反应，提示车主做解锁手势；手势检测模块，所述手势检测模块用于对车主的动作进行识别和匹配，判断车主是否做出解锁手势；车锁模块，所述车锁模块能够对车辆进行上锁和解锁；DILU监控系统，所述DILU监控系统能够在车辆上锁后开启采集模块使其工作。作为本专利技术所述的基于人脸和手势识别的汽车自动解锁控制系统的一种优选方案，其中：所述人脸检测模块还包括人脸识别模块和人脸匹配模块，所述人脸识别模块用于对外部图像中的人脸进行识别追踪，所述人脸匹配模块用于判断人脸图像是否为车主的人脸图像；所述手势检测模块还包括手势识别模块和手势匹配模块，所述手势识别模块用于对车主的整体动作进行追踪，所述手势匹配模块用于判断车主是否做出了解锁手势。本专利技术的有益效果：通过摄像头识别车主+车主做出解锁动作解锁汽车的方式，避免了需要蓝牙钥匙配对，或者是指纹模糊情况下不可识别的问题，该解锁方式可以保证车辆的安全性，同时也保证了解锁方式的唯一性。会比传统的钥匙解锁更加安全。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本专利技术第一个实施例所述基于人脸和手势识别的汽车自动解锁控制方法的整体流程示意图；图2为本专利技术第一个实施例所述摄像头的位置设置示意图；图3为本专利技术第一个实施例中facenet模型对图像的处理流程示意图；图4为本专利技术第一个实施例中CPMs的网络结构示意图；图5为本专利技术第一个实施例CPMs在不同阶段中对图像的处理示意图；图6为本专利技术第二个实施例所述基于人脸和手势识别的汽车自动解锁控制系统的整体结构示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本专利技术的具体实施方式做详细的说明，显然所描述的实施例是本专利技术的一部分本文档来自技高网...

【技术保护点】
1.一种基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：包括以下步骤，/n采集模块(100)对外部环境进行监控并采集外部图像；/n人脸检测模块(200)识别出人脸图像并进行匹配；/n判断是否为车主，若是则提示模块(300)做出提示，并等待车主做出手势；/n采集模块(100)捕获车主的手势；/n手势检测模块(400)对车主的手势进行识别，并在识别到解锁动作时发送信号给车锁模块(500)解锁车门。/n

【技术特征摘要】
1.一种基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：包括以下步骤，
采集模块(100)对外部环境进行监控并采集外部图像；
人脸检测模块(200)识别出人脸图像并进行匹配；
判断是否为车主，若是则提示模块(300)做出提示，并等待车主做出手势；
采集模块(100)捕获车主的手势；
手势检测模块(400)对车主的手势进行识别，并在识别到解锁动作时发送信号给车锁模块(500)解锁车门。


2.如权利要求1所述的基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：停车且车主拔出钥匙下车关闭车门后，DILU监控系统(600)控制车辆，并开启所述采集模块(100)，开始对外部环境进行实时监控。


3.如权利要求1或2所述的基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：所述人脸检测模块(200)的工作还包括以下步骤，
采集模块(100)采集车主的人脸图像并存储于人脸检测模块(200)；
人脸识别模块(201)基于opencv4对采集模块(100)采集的外部图像中的人脸进行识别追踪；
将识别到的人脸图像传输至人脸匹配模块(202)，基于人脸匹配算法与车主的人脸图像对比，判断识别到的人脸图像是否为车主的人脸图像。


4.如权利要求3所述的基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：所述人脸图像的对比还包括以下步骤，
对脸部特征编码模型进行训练，输出训练后的脸部特征编码模型；
利用训练后的脸部特征编码模型分别对输入的人脸图像和车主的人脸图像进行特征向量提取，得到输入的人脸图像和车主的人脸图像的128维特征向量；
利用最近邻算法计算两张图像的128维特征向量的欧氏距离判断其相似度，若相似度大于某个阈值，则认为不是车主，否则判断为车主。


5.如权利要求4所述的基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：所述判断还包括以下步骤，
若判断识别到的人脸图像是车主的人脸图像，则提示模块(300)做出提示，且采集模块(100)等待车主做出手势；
若判断识别到的人脸图像不是车主的人脸图像，则采集模块(100)继续对外部环境进行监控，并由人脸检测模块(200)识别出其它人脸图像进行匹配。


6.如权利要求4或5所述的基于人脸和手势识别的汽车自动解锁控制方法，其特征在于：所述手势检测模块(400)的工作还包括以下步骤，
通过采集模块(100)采集预先设定的车辆解锁动作，并存储于手势...

【专利技术属性】
技术研发人员：韩智伟，
申请(专利权)人：的卢技术有限公司，
类型：发明
国别省市：江苏;32