一种基于目标检测和动作识别的汽车电动尾门开启方法技术

本发明专利技术涉及一种基于目标检测和动作识别的汽车电动尾门开启方法，该方法包括步骤：1)预先利用车身自有的车载环视摄像头获取车辆外部人员的特定动作视频，并将视频图像作为训练数据；2)采用YOLO目标检测算法对车载环视摄像头采集的视频进行人体检测并定位人体动作区域；3)对检测出的人体动作区域进行筛选，获取主目标框；4)对检测出的人体动作区域抽取特征信息，并将特征信息进行聚类，获取动作基元序列并建立动作模板；5)采用DTW算法对当前动作基元序列与动作模板进行匹配，完成动作识别；6)汽车电动尾门识别特定动作后开启。与现有技术相比，本发明专利技术具有降低成本、识别智能化程度高等优点。

An Opening Method of Automotive Electric Tail Door Based on Target Detection and Motion Recognition

The invention relates to an automobile electric tail door opening method based on target detection and motion recognition. The method comprises the following steps: 1) acquiring specific action video of the external personnel of the vehicle in advance by using the automobile body's own ring camera, and using the video image as training data; 2) detecting and locating the human body using YOLO target detection algorithm for the video captured by the vehicle ring camera; Human action region; 3) Screening the detected human action region to obtain the main target box; 4) Extracting feature information from the detected human action region and clustering the feature information to obtain the sequence of action elements and establish action template; 5) Matching the current sequence of action elements with action template using DTW algorithm to complete action recognition; 6) Motor vehicle electric tail gate recognition; Open after specific action. Compared with the prior art, the invention has the advantages of lower cost and higher recognition intelligence.

【技术实现步骤摘要】
一种基于目标检测和动作识别的汽车电动尾门开启方法
本专利技术涉及汽车电子
，尤其是涉及一种基于目标检测和动作识别的汽车电动尾门开启方法。
技术介绍
汽车电动尾门，即电动后备箱，其采用电动或者是遥控方式开启或关闭。传统的汽车电动尾门开启大多采用额外的动作传感器来判断开启尾门的脚踢动作是否正确，成本较高。申请号CN201621351899.2的专利设计了一种新型的脚踢感应自动开启汽车尾门装置，包括脚踢感应装置和电动尾门控制ECU。该专利设计的脚踢感应器基于电容方式，人需要站在合适的位置才能踢脚，距离车太近或太远均不能触发，不够灵敏，且后保险杠属于易损部位，被碰撞几率大，容易损坏。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于目标检测和动作识别的汽车电动尾门开启方法。本专利技术的目的可以通过以下技术方案来实现：一种基于目标检测和动作识别的汽车电动尾门开启方法，该方法包括下列步骤：S1：预先利用车身自有的车载环视摄像头获取车辆外部人员的特定动作视频，并将视频图像作为训练数据。S2：采用YOLO目标检测算法对车载环视摄像头采集的视频进行人体检测并定位人体动作区域；YOLO目标检测算法采用的检测模型为YOLOv3-tiny模型。步骤S2的具体内容为：201)通过特征提取网络对输入图像提取特征，获取一定大小的特征图；202)将输入图像分成S*S个区块gridcell，若groundtruth中某个物体的中心坐标落在某一个gridcell中，则由该gridcell预测该物体。S3：对检测出的人体动作区域进行筛选，获取主目标框。具体内容包括：301)利用人体检测器标注人体动作区域图像中所有人的位置；302)判断人的位置与车载环视摄像头的距离进行判断，识别有效距离，排除不符合有效距离范围的检测框；303)对排除后的多个检测框的置信度、水平中心位置和面积进行线性加权，获取得分最高的人的位置目标确定为主目标框。假设同时存在n个检测框(box1,box2…boxn)，第i个检测框boxi的检测置信度为probi，位置信息为(xi,yi,wi,hi)，图像帧大小为Wimg，Himg，则该检测框面积为Si＝wi*hi，水平中心偏移比例OXi为：设置三项对应权重分别为αp,αs,αo，最终boxi的加权值F为：F＝αp*probi+αS*Si+αO*OXi保留F最高的检测框作为主目标框。S4：对检测出的人体动作区域抽取特征信息，并将特征信息进行聚类，获取动作基元序列，将输入训练视频得到的动作基元序列作为动作模板，将输入的实时检测视频作为当前动作基元序列。具体包括以下步骤：401)对检测出的人体动作区域计算光流场，将光流场分为水平成分和垂直成分；402)减去光流场的中值，去除背景运动成分以获取中值补偿的光流场；403)对步骤402)获取的光流场进行半波校正与高斯平滑处理，并进行归一化，获取运动描述符；404)对步骤403)获取的运动描述符进行聚类，将聚类中心作为动作基元，获取动作基元序列。优选地，采用k-均值聚类算法对特征信息进行聚类。S5：采用DTW算法对当前动作基元序列和动作模板进行匹配，完成动作识别。S6：汽车电动尾门识别特定动作后开启。优选地，特定动作包括踢脚动作或抬手动作。与现有技术相比，本专利技术具有以下优点：(1)本专利技术通过目标检测和动作识别对车辆外部的人员的特定动作进行实时识别，以自动开启尾门，即利用计算机视觉技术使用车辆自有的环视摄像头完成动作感应，无需增加额外的动作传感器，降低了智能测试的设备成本，且避免了不能触发、不够灵敏、被碰撞的问题；(2)本专利技术使用YOLO目标检测算法实现目标检测，相比其他目标检测算法，YOLO算法具有很快的检测速度、较小的计算量等优点，对于单帧图片的检测时间仅需9ms，并且在逆光或复杂场景下也能有很好的检测精度；(3)本专利技术方法对检测框进行了加权筛选，加权方法简单有效，所需计算资源小，能够快速准确定位到主要动作执行人，排除其他行人对动作感应的干扰。附图说明图1为本专利技术方法的流程示意图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。显然，所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。如图1所示，本专利技术涉及一种基于目标检测和动作识别的汽车电动尾门开启方法，该方法主要由四个关键步骤组成：步骤一、预先利用车身自有的车载环视摄像头获取车辆外部人员的特定动作视频，并将视频图像作为训练数据。步骤二、对采集视频进行人体检测并定位人体动作区域。本专利技术的人体检测算法基于YOLO(YouOnlyLookOnce)目标检测算法实现。采用的检测模型是YOLOv3-tiny，并在VOC数据集上针对人体样本进行了重新训练。该模型的检测速度和精度都非常理想，检测的FPS(FramesPerSecond，每秒传输帧数)达到100以上，完全能够满足智能尾门系统的实时性要求。采用YOLO目标检测算法的主要内容为：首先通过特征提取网络对输入图像提取特征，得到一定大小的特征图，然后将输入图像分成13*13个区块(gridcell)，接着如果groundtruth中某个物体的中心坐标落在哪个gridcell中，那么就由该gridcell来预测该物体，因为每个gridcell都会预测固定数量的boundingbox(包围框，YOLOv1中是2个，YOLOv2中是5个，YOLOv3中是3个，这几个boundingbox的初始大小是不一样的)，那么这几个boundingbox中最终是由和groundtruth(标注数据)的IOU(IntersectionoverUnion，交并比)最大的boundingbox来预测该object(物体)。步骤三、对检测出的人体动作区域进行筛选。对于每一帧图像，人体检测器都会把图像中的所有人位置标注出来。考虑到自动尾门的实际使用场景，需要的只是站在尾门正前方做动作的人的位置，其他人都只是干扰项。通常情况下，动作执行人是图像中最靠近摄像头、也最靠近水平中心的人，基于这个前提，本专利技术对检测器检测的目标进行了筛选，找出其中最显著的目标：1、排除面积小于阈值的检测框(面积过小说明距离很远)；2、对人体距离摄像头的距离进行了简单判断，通常识别有效距离为0.5～1.5米，对于不符该距离范围的检测框也将其排除；3、对剩下的多个检测框的置信度、水平中心位置和面积进行线性加权，最终将得分最高的确定为主目标。具体内容为：假设同时存在n个检测框(box1,box2…boxn)，第i个检测框boxi的检测置信度为probi，位置信息为(xi,yi,wi,hi)，图像帧大小为Wimg，Himg，则该检测框面积为Si＝wi*hi，水平中心偏移比例OXi为：设置三项对应权重分别为αp,αS,αO，最终boxi的加权值F为：F＝αp*probi+αS*Si+αO*OXi最后只保留F最高的检测框作为主目标框。步骤四、对图像帧抽取特征对通过聚类得到动作基元。在检测出人体区域后，在该区域抽取特征信息(光流)采用k-均值聚类算法进行聚类。k-means算法是一种简单的迭代型聚本文档来自技高网...

【技术保护点】
1.一种基于目标检测和动作识别的汽车电动尾门开启方法，其特征在于，该方法包括下列步骤：1)预先利用车身自有的车载环视摄像头获取车辆外部人员的特定动作视频，并将视频图像作为训练数据；2)采用YOLO目标检测算法对车载环视摄像头采集的视频进行人体检测并定位人体动作区域；3)对检测出的人体动作区域进行筛选，获取主目标框；4)对检测出的人体动作区域抽取特征信息，并将特征信息进行聚类，获取动作基元序列，将输入训练视频得到的动作基元序列作为动作模板，将输入的实时检测视频作为当前动作基元序列；5)采用DTW算法对当前动作基元序列和动作模板进行匹配，完成动作识别；6)汽车电动尾门识别特定动作后开启。

【技术特征摘要】
1.一种基于目标检测和动作识别的汽车电动尾门开启方法，其特征在于，该方法包括下列步骤：1)预先利用车身自有的车载环视摄像头获取车辆外部人员的特定动作视频，并将视频图像作为训练数据；2)采用YOLO目标检测算法对车载环视摄像头采集的视频进行人体检测并定位人体动作区域；3)对检测出的人体动作区域进行筛选，获取主目标框；4)对检测出的人体动作区域抽取特征信息，并将特征信息进行聚类，获取动作基元序列，将输入训练视频得到的动作基元序列作为动作模板，将输入的实时检测视频作为当前动作基元序列；5)采用DTW算法对当前动作基元序列和动作模板进行匹配，完成动作识别；6)汽车电动尾门识别特定动作后开启。2.根据权利要求1所述的一种基于目标检测和动作识别的汽车电动尾门开启方法，其特征在于，步骤2)中，YOLO目标检测算法采用的检测模型为YOLOv3-tiny模型。3.根据权利要求2所述的一种基于目标检测和动作识别的汽车电动尾门开启方法，其特征在于，步骤2)的具体内容为：201)通过特征提取网络对输入图像提取特征，获取一定大小的特征图；202)将输入图像分成S*S个区块gridcell，若groundtruth中某个物体的中心坐标落在某一个gridcell中，则由该gridcell预测该物体。4.根据权利要求3所述的一种基于目标检测和动作识别的汽车电动尾门开启方法，其特征在于，步骤3)具体包括以下步骤：301)利用人体检测器标注人体动作区域图像中所有人的位置；302)判断人的位置与车载环视摄像头的距离进行判断，识别有效距离，...

【专利技术属性】
技术研发人员：罗怡桂，丁炜毅，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31