一种基于移动视频提取车辆及驾驶人信息的方法技术

本发明专利技术提供一种基于移动视频提取车辆及驾驶人信息的方法，其基于颜色直方图特征、图像边缘特征，利用聚类算法自动的从镜头单元中提取关键帧，后续的车辆信息、驾驶人信息都基于关键帧进行计算，无需对所有的视频数据中的图像帧进行计算，有效的降低了后续车辆信息、驾驶人信息计算的复杂度和计算量；在提取关键帧的过程中，无需人工设定图像分类的类型，而是通过结合颜色直方图特征从全局的角度和图像边缘特征从局部的角度计算图像间的差异度来自动抽取关键帧，确保了抽取的关键帧的准确性和完备性，进而保证了后续车辆信息、驾驶人信息计算的准确性。

A method of extracting vehicle and driver information based on mobile video

【技术实现步骤摘要】
一种基于移动视频提取车辆及驾驶人信息的方法
本专利技术涉及智能交通控制
，具体为一种基于移动视频提取车辆及驾驶人信息的方法。
技术介绍
现代的交通控制中，通常需要识别违法车辆；鉴别违法车辆的数据来源有路边的卡口设备、执法记录仪、车载视频等等图像设备以及流媒体设备；当基础数据来源于执法记录仪车载视频等移动视频设备的时候，需要从流媒体数据中提取可分析的图像数据。现有技术中，已有的实现方法是把每一帧都作为可分析图像数据，对视频图像每一帧都进行分析，这样虽然不会出现遗漏，但是计算量非常大；也有先基于聚类分析进行关键帧抽取(图像关键帧是指反映一段视频中主要信息内容的一帧或若干帧图像)，然后基于抽取的关键帧进行后续图像分析，找到有违法嫌疑的驾驶人或者车辆；在进行关键帧抽取的时候，大多是先确定聚类分析时图像分类的类型，然后把所有的图像根据预先设定的类型进行分类，但是图像分类的类型大多通过人工设置，受技术人员的能力、经验影响很大，一旦设置不准确，就会导致后期的分类效果不理想，进而影响后续图像分析结果。
技术实现思路
为了解决现有技术中进行关键帧抽取的时候，因为预先设置的图像分类类型受技术人员能力影响较大，进而会导致分类结果不理想的问题，本专利技术提供一种基于移动视频提取车辆及驾驶人信息的方法，其不受技术人员的能力影响，可以有效的提取有违法嫌疑的驾驶人的信息，且技术方案复杂度低，计算量少。本专利技术的技术方案是这样的：一种基于移动视频提取车辆及驾驶人信息的方法，其包括以下步骤：S1：获取视频采集设备中的视频流数据，将所述视频数据上传至流媒体服务器；S2：对所述视频流数据进行结构化分析，分解成镜头单元；S3：基于聚类分析方法从所述镜头单元中提取关键帧；S4：对所述关键帧进行预处理；S5：通过现有的图像识别技术，对所述关键帧进行识别分析；如果检测到车辆，则输出车辆区域图像；否则，结束本次操作；S6：在所述车辆区域图像中的主驾驶位置进行人脸检测；如果检测到人脸，则输出人脸区域图像；否则，结束本次操作；S7：在所述人脸区域图像中，进行人脸特征提取；S8：在所述车辆区域图像中，进行车辆特征的提取；S9：以提取到的所述人脸特征、所述车辆特征作为基础数据，在关联的车辆数据库、驾驶人登记信息中进行检索，即可获得车辆、驾驶人的有效信息；其特征在于：所述步骤S3中，基于聚类分析方法从所述镜头单元中提取关键帧包括如下步骤：S3-1：所述镜头单元包括N个图像帧，记做：AF＝{f1,f2,f3,...,fN}式中：fi为第i帧图像,i＝1,2,...,N；S3-2：初始化i＝1；新建聚类簇集合T，初始化集合T为空；S3-3：取出fi，计算fi的图像特征P(Histi,Bi)；其中：Histi为图像帧fi的颜色直方图特征，Bi是图像帧fi的图像边缘特征；S3-4：确认聚类簇集合T是否为空；如果T为空，则执行步骤S3-5；否则，T不为空，则执行步骤S3-6；S3-5：新建聚类簇teami，设置P(Histi,Bi)为teami的中心特征P_AVG；将聚类簇teami添加到聚类簇集合T中：T＝{team1,...,teamM}式中M为正整数，表示集合中元素的个数；执行步骤S3-10；S3-6：分别计算fi与聚类簇集合T中每一个聚类簇team的中心特征P_AVG的差异度D，共得到M个D，其中最小差异度设为D_min；S3-7：设置一个阈值ε，比较最小差异度D_min和阈值ε的大小；如果D_min>ε，则执行步骤S3-5；否则，执行步骤S3-8；S3-8：将图像帧fi加入到最小差异度D_min所属的那个聚类簇team_min；S3-9：基于均值算法更新聚类簇team_min的中心特征P_AVG；执行步骤S3-10；S3-10：i赋值为i+1；如果i>N，则执行步骤S3-11；否则执行步骤S3-3；S3-11：输出最终的包含M个聚类簇的集合T：T＝{team1,...,teamM}；S3-12：在集合T第q个teamq中，找到与其中心特征P_AVG差异度最小的那个图像帧，设为teamq的关键帧Kfq；计算集合T中每一个聚类簇的关键帧，最终得到M个关键帧，其所有关键帧的集合为：KF＝{Kf1,Kf2,...,KfM}其中q为正整数，q＝1,2,....,M；S3-13：将关键帧集合KF输出，进行后续步骤。其进一步特征在于：步骤S3-6中，差异度D的计算方法如下所示：D(fi,fj)＝αDc(fi,fj)+(1-α)Dv(fi,fj)其中：Dc(fi,fj)和Dv(fi,fj)的表达式如下：式中，α为加权系数，Dc表示两个图像帧fi、fj之间的颜色特征差异度，Dv表示两个图像帧fi、fj之间的边缘特征差异度；Bi是通过Canny算法提取的图像帧fi的图像边缘特征；步骤S4中，对所述关键帧进行预处理；所述预处理包括：中值滤波滤除噪声、图像防抖动、图像增强；步骤S2中的所述视频流数据的格式为H.264或H.265格式；步骤S2中，使用镜头突变、渐变检测算法将所述视频流数据分解成所述镜头单元；所述镜头单元为由一组时间、空间上连续的视频图像帧序列顺序构成的视频数据。本专利技术提供的一种基于移动视频提取车辆及驾驶人信息的方法，基于颜色直方图特征、图像边缘特征，利用聚类算法自动的从镜头单元中提取关键帧，后续的车辆信息、驾驶人信息都基于关键帧进行计算，无需对所有的视频数据中的图像帧进行计算，有效的降低了后续车辆信息、驾驶人信息计算的复杂度和计算量；在提取关键帧的过程中，无需人工设定图像分类的类型，而是通过结合颜色直方图特征从全局的角度和图像边缘特征从局部的角度计算图像间的差异度来自动抽取关键帧，确保了抽取的关键帧的准确性和完备性，进而保证了后续车辆信息、驾驶人信息计算的准确性；技术人员根据技术方案应用的具体场景的不同、使用的视频设备的不同，设置不同的阈值ε；通过设置阈值ε，控制每个聚类簇中抽取的关键帧的精确度，不但降低了计算量，且使本专利技术的技术方案更具灵活性，适用于不同的场景。附图说明图1为本专利技术中从镜头单元中提取关键帧的流程示意图。具体实施方式如图1所示，本专利技术一种基于移动视频提取车辆及驾驶人信息的方法，其包括以下步骤：S1：获取视频采集设备(如4G执法记录仪、车载视频)中的视频流数据，将视频数据上传至流媒体服务器；S2：对视频流数据进行结构化分析，分解成镜头单元；视频流数据的格式为H.264或H.265格式；使用镜头突变、渐变检测算法将视频流数据分割成镜本文档来自技高网...

【技术保护点】
1.一种基于移动视频提取车辆及驾驶人信息的方法，其包括以下步骤：/nS1：获取视频采集设备中的视频流数据，将所述视频数据上传至流媒体服务器；/nS2：对所述视频流数据进行结构化分析，分解成镜头单元；/nS3：基于聚类分析方法从所述镜头单元中提取关键帧；/nS4：对所述关键帧进行预处理；/nS5：通过现有的图像识别技术，对所述关键帧进行识别分析；/n如果检测到车辆，则输出车辆区域图像；/n否则，结束本次操作；/nS6：在所述车辆区域图像中的主驾驶位置进行人脸检测；/n如果检测到人脸，则输出人脸区域图像；/n否则，结束本次操作；/nS7：在所述人脸区域图像中，进行人脸特征提取；/nS8：在所述车辆区域图像中，进行车辆特征的提取；/nS9：以提取到的所述人脸特征、所述车辆特征作为基础数据，在关联的车辆数据库、驾驶人登记信息中进行检索，即可获得车辆、驾驶人的有效信息；/n其特征在于：/n所述步骤S3中，基于聚类分析方法从所述镜头单元中提取关键帧包括如下步骤：/nS3-1：所述镜头单元包括N个图像帧，记做：/nAF＝{f

【技术特征摘要】
1.一种基于移动视频提取车辆及驾驶人信息的方法，其包括以下步骤：
S1：获取视频采集设备中的视频流数据，将所述视频数据上传至流媒体服务器；
S2：对所述视频流数据进行结构化分析，分解成镜头单元；
S3：基于聚类分析方法从所述镜头单元中提取关键帧；
S4：对所述关键帧进行预处理；
S5：通过现有的图像识别技术，对所述关键帧进行识别分析；
如果检测到车辆，则输出车辆区域图像；
否则，结束本次操作；
S6：在所述车辆区域图像中的主驾驶位置进行人脸检测；
如果检测到人脸，则输出人脸区域图像；
否则，结束本次操作；
S7：在所述人脸区域图像中，进行人脸特征提取；
S8：在所述车辆区域图像中，进行车辆特征的提取；
S9：以提取到的所述人脸特征、所述车辆特征作为基础数据，在关联的车辆数据库、驾驶人登记信息中进行检索，即可获得车辆、驾驶人的有效信息；
其特征在于：
所述步骤S3中，基于聚类分析方法从所述镜头单元中提取关键帧包括如下步骤：
S3-1：所述镜头单元包括N个图像帧，记做：
AF＝{f1,f2,f3,...,fN}
式中：fi为第i帧图像,i＝1,2,...,N；
S3-2：初始化i＝1；
新建聚类簇集合T，初始化集合T为空；
S3-3：取出fi，计算fi的图像特征P(Histi,Bi)；
其中：Histi为图像帧fi的颜色直方图特征，Bi是图像帧fi的图像边缘特征；
S3-4：确认聚类簇集合T是否为空；
如果T为空，则执行步骤S3-5；
否则，T不为空，则执行步骤S3-6；
S3-5：新建聚类簇teami，设置P(Histi,Bi)为teami的中心特征P_AVG；
将聚类簇teami添加到聚类簇集合T中：
T＝{team1,...,teamM}
式中M为正整数，表示集合中元素的个数；
执行步骤S3-10；
S3-6：分别计算fi与聚类簇集合T中每一个聚类簇team的中心特征P_AVG的差异度D，共得到M个D，其中最小差异度设为D_min；
S3-7：设置一个阈值ε，比较最小差异度D_min和阈值ε的大小；
如果D_min>ε，则执行步骤S3-5；
否则，执行步骤S3-8...

【专利技术属性】
技术研发人员：朱键，施一珑，石刚巧，王晓东，张祥，朱骏飞，
申请(专利权)人：公安部交通管理科学研究所，
类型：发明
国别省市：江苏;32