视频流中目标的检测方法、装置、设备和介质制造方法及图纸

本发明专利技术公开了一种视频流中目标的检测方法、装置、设备和介质。该方法包括：从获取的待检测视频流中选取待检测的当前帧，并获取当前帧的上一帧中目标的检测结果；若当前帧的上一帧中包含目标，则利用当前帧的上一帧的检测结果和目标检测分类器，对当前帧的多个候选窗口进行帧间加权滤波，并根据预设阈值，确定当前帧中目标的检测结果，目标检测分类器是基于预设样本图像的像素点对特征训练得到的分类器；若当前帧的上一帧不包含目标，或当前帧为视频流的第一帧图像，则利用目标检测分类器，确定当前帧中目标的检测结果。根据本发明专利技术实施例提供的视频流中目标的检测方法、装置、设备和介质，提高了对视频流中的目标的实时检测的准确性和稳定性。

Detection methods, devices, devices and media of objects in video stream

The invention discloses a method, device, device and medium for detecting a target in a video stream. The method includes: selecting the current frame to be detected from the acquired video stream to be detected, and obtaining the detection result of the target in the previous frame of the current frame; if the previous frame of the current frame contains the target, then using the detection result of the previous frame of the current frame and the target detection classifier to carry out inter frame weighting filtering for multiple candidate windows of the current frame, and determining the current according to the preset threshold. For the detection results of the target in the frame, the target detection classifier is a classifier based on the pixel pair feature training of the preset sample image; if the previous frame of the current frame does not contain the target, or the current frame is the first frame of the video stream, the target detection classifier is used to determine the detection results of the target in the current frame. The detection method, device, device and medium of the target in the video stream provided according to the embodiment of the invention improve the accuracy and stability of the real-time detection of the target in the video stream.

【技术实现步骤摘要】
视频流中目标的检测方法、装置、设备和介质
本专利技术涉及数据业务领域，尤其涉及一种视频流中目标的检测方法、装置、设备和计算机存储介质。
技术介绍
在智能应用、人机交互或视频监控等场景中，对视频流中指定目标的实时检测具有很高的应用价值。例如，人手可以作为一种人机交互的工具，在很多应用场景下需要对视频流中的人手进行准确的实时检测。现有技术中具有基于统计的肤色检测方法、基于HOG特征和SVM的机器学习等方法，可以进行人手的检测。但是对于基于统计的肤色检测方法，由于人手容易受到光照的影响，所以人手的识别效率低、误检率高。对于基于HOG特征和SVM的机器学习方法，检测比较耗时，无法达到实时检测的目的。因此，提高视频流中目标的实时检测的准确性是急需解决的问题。
技术实现思路
本专利技术实施例一种视频流中目标的检测方法、装置、设备和计算机存储介质，提高了对视频流中目标的实时检测的准确性。根据本专利技术实施例的一方面，提供一种视频流中目标的检测方法，该方法包括：获取待检测视频流，从待检测视频流中选取当前待检测的当前帧，并获取当前帧的上一帧中目标的检测结果；若当前帧的上一帧中包含目标，则利用当前帧的上一帧的检测结果中目标的位置区域、目标的置信度和目标检测分类器，对当前帧的多个候选窗口进行帧间加权滤波，并根据多个候选窗口的帧间加权滤波的结果和预设阈值，确定当前帧中目标的检测结果，目标检测分类器是基于预设样本图像的像素点对特征训练得到的分类器；若当前帧的上一帧不包含目标，或当前帧为视频流的第一帧图像，则利用目标检测分类器，确定当前帧中目标的检测结果。在一个实施例中，在利用当前帧的上一帧的检测结果中目标的位置区域、目标的置信度和目标检测分类器，对当前帧的多个候选窗口进行帧间加权滤波之前，方法还包括：从预设样本图像中提取像素点对特征，并利用像素点对特征训练得到由多棵二叉决策树构成、并具有级联结构的目标检测分类器。在一个实施例中，在确定当前帧中目标的检测结果之后，方法还包括：将当前帧的下一帧更新为当前帧，执行获取当前帧的上一帧中目标的检测结果，直至遍历视频流中的所有图像，以实现对待检测视频流中目标的跟踪。在一个实施例中，利用下面的表达式计算像素点对特征bintest：其中，l1和l2为图像I中的任意两点，I(l1)为l1点处的像素强度，I(l2)为l2点处的像素强度，bintest(I；l1,l2)为图像I在任意两个点l1和l2处的像素点对特征。在一个实施例中，利用当前帧的上一帧的检测结果中目标的位置区域、目标的置信度和目标检测分类器，对当前帧的多个候选窗口进行帧间加权滤波，包括：利用当前帧的上一帧的检测结果中目标的位置区域，确定当前帧的搜索区域，并从搜索区域中选取当前帧的多个候选窗口；利用目标检测分类器确定多个候选窗口中各候选窗口中目标的检测结果；根据当前帧的上一帧的检测结果中目标的置信度和各候选窗口中目标的检测结果，对各候选窗口进行帧间加权滤波。在一个实施例中，从搜索区域中选取当前帧的多个候选窗口，包括：通过不同尺度的滑动窗口对搜索区域进行遍历得到多个子窗口，并计算多个子窗口中每一个子窗口与当前帧的上一帧中目标的位置区域之间的匹配度；按照从高到低的顺序，选取匹配度的排名结果中前n名的每个子窗口为候选窗口，n为正整数。在一个实施例中，计算多个子窗口中每一个子窗口与当前帧的上一帧中目标的位置区域之间的匹配度，包括：获取当前帧的上一帧中目标的位置区域对应的颜色直方图和目标的物体轮廓，以建立匹配模型；获取每一个子窗口对应的颜色直方图和目标的物体轮廓，并将每个子窗口的颜色直方图和目标的物体轮廓与匹配模型进行匹配，计算每个子窗口的匹配度。在一个实施例中，利用目标检测分类器，确定当前帧中目标的检测结果，包括：利用具有不同尺度的滑动窗口分别对当前帧进行遍历，得到当前帧的多个窗口图像；利用目标检测分类器确定当前帧的多个窗口图像中各窗口图像中目标的检测结果，并根据各窗口图像中目标的检测结果确定包含目标的窗口图像；对包含目标的窗口图像中目标的检测结果进行聚类，以获取当前帧中目标的检测结果。在一个实施例中，根据多个候选窗口的帧间加权滤波的结果和预设阈值，确定当前帧中目标的检测结果，包括：确定候选窗口的帧间加权滤波的结果大于预设阈值，则候选窗口包含目标；从包含目标的候选窗口中，选取具有最大帧间加权滤波结果的候选窗口对应的目标的检测结果，作为当前帧中目标的检测结果。在一个实施例中，利用下面的表达式计算候选窗口的帧间加权滤波的结果Rn：Rn＝K*Mn*Dp+(1-K)*Dn其中，Dn为当前帧的多个候选窗口中的第n个候选窗口中目标的置信度，Mn为第n个候选窗口对应的匹配度；Dp为当前帧的上一帧中目标的置信度；K为大于零且小于1的常数。在一个实施例中，目标包括人手和/或人的手臂。根据本专利技术实施例的另一方面，提供一种视频流中目标的检测装置，该装置包括：获取模块，用于获取待检测视频流，从待检测视频流中选取当前待检测的当前帧，并获取当前帧的上一帧中目标的检测结果；检测模块，用于若当前帧的上一帧中包含目标，则利用当前帧的上一帧的检测结果中目标的位置区域、目标的置信度和目标检测分类器，对当前帧的多个候选窗口进行帧间加权滤波，并根据多个候选窗口的帧间加权滤波的结果和预设阈值，确定当前帧中目标的检测结果，目标检测分类器是基于预设样本图像的像素点对特征训练得到的分类器；若当前帧的上一帧不包含目标，或当前帧为视频流的第一帧图像，则利用目标检测分类器，确定当前帧中目标的检测结果。根据本专利技术实施例的再一方面，提供一种视频流中目标的检测设备，该设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现本专利技术实施例提供的视频流中目标的检测方法。根据本专利技术实施例的再一方面，提供一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现本专利技术实施例提供的视频流中目标的检测方法。根据本专利技术实施例中的视频流中目标的检测方法、装置、设备和计算机存储介质，通过利用当前帧的上一帧的检测结果和基于像素点对特征训练的目标检测分类器，对当前帧的多个候选窗口进行帧间加权滤波，并根据多个候选窗口的帧间加权滤波的结果和预设阈值，确定当前帧的检测结果，提高了对视频流中目标的实时检测的准确性和稳定性。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出根据本专利技术一实施例提供的视频流中目标的检测方法的流程示意图；图2示出本专利技术一实施例提供的目标检测分类器的训练方法的流程示意图；图3本文档来自技高网...

【技术保护点】
1.一种视频流中目标的检测方法，其特征在于，所述方法包括：/n获取待检测视频流，从所述待检测视频流中选取当前待检测的当前帧，并获取所述当前帧的上一帧中目标的检测结果；/n若所述当前帧的上一帧中包含所述目标，则利用所述当前帧的上一帧的检测结果中所述目标的位置区域、所述目标的置信度和目标检测分类器，对所述当前帧的多个候选窗口进行帧间加权滤波，并根据所述多个候选窗口的帧间加权滤波的结果和预设阈值，确定所述当前帧中所述目标的检测结果，所述目标检测分类器是基于预设样本图像的像素点对特征训练得到的分类器；/n若所述当前帧的上一帧不包含所述目标，或所述当前帧为所述视频流的第一帧图像，则利用所述目标检测分类器，确定所述当前帧中所述目标的检测结果。/n

【技术特征摘要】
1.一种视频流中目标的检测方法，其特征在于，所述方法包括：
获取待检测视频流，从所述待检测视频流中选取当前待检测的当前帧，并获取所述当前帧的上一帧中目标的检测结果；
若所述当前帧的上一帧中包含所述目标，则利用所述当前帧的上一帧的检测结果中所述目标的位置区域、所述目标的置信度和目标检测分类器，对所述当前帧的多个候选窗口进行帧间加权滤波，并根据所述多个候选窗口的帧间加权滤波的结果和预设阈值，确定所述当前帧中所述目标的检测结果，所述目标检测分类器是基于预设样本图像的像素点对特征训练得到的分类器；
若所述当前帧的上一帧不包含所述目标，或所述当前帧为所述视频流的第一帧图像，则利用所述目标检测分类器，确定所述当前帧中所述目标的检测结果。


2.根据权利要求1所述的方法，其特征在于，在所述利用所述当前帧的上一帧的检测结果中所述目标的位置区域、所述目标的置信度和目标检测分类器，对所述当前帧的多个候选窗口进行帧间加权滤波之前，所述方法还包括：
从预设样本图像中提取像素点对特征，并利用所述像素点对特征训练得到由多棵二叉决策树构成、并具有级联结构的所述目标检测分类器。


3.根据权利要求1所述的方法，其特征在于，在所述确定所述当前帧中所述目标的检测结果之后，所述方法还包括：
将所述当前帧的下一帧更新为当前帧，执行所述获取所述当前帧的上一帧中所述目标的检测结果，直至遍历所述视频流中的所有图像，以实现对所述待检测视频流中所述目标的跟踪。


4.根据权利要求1所述的方法，其特征在于，利用下面的表达式计算所述像素点对特征bintest：



其中，l1和l2为图像I中的任意两点，I(l1)为l1点处的像素强度，I(l2)为l2点处的像素强度，bintest(I；l1,l2)为图像I在任意两个点l1和l2处的像素点对特征。


5.根据权利要求1所述的方法，其特征在于，所述利用所述当前帧的上一帧的检测结果中所述目标的位置区域、所述目标的置信度和目标检测分类器，对所述当前帧的多个候选窗口进行帧间加权滤波，包括：
利用所述当前帧的上一帧的检测结果中所述目标的位置区域，确定所述当前帧的搜索区域，并从所述搜索区域中选取所述当前帧的多个候选窗口；
利用所述目标检测分类器确定所述多个候选窗口中各候选窗口中所述目标的检测结果；
根据所述当前帧的上一帧的检测结果中所述目标的置信度和所述各候选窗口中所述目标的检测结果，对所述各候选窗口进行帧间加权滤波。


6.根据权利要求5所述的方法，其特征在于，所述从所述搜索区域中选取所述当前帧的多个候选窗口，包括：
通过不同尺度的滑动窗口对所述搜索区域进行遍历得到多个子窗口，并计算所述多个子窗口中每一个子窗口与所述当前帧的上一帧中所述目标的位置区域之间的匹配度；
按照从高到低的顺序，选取所述匹配度的排名结果中前n名的每个子窗口为所述候选窗口，n为正整数。


7.根据权利要求6所述的方法，其特征在于，所述计算所述多个子窗口中每一个子窗口与所述当前帧的上一帧中所述目标的位置区域之间的匹配度，包括：

【专利技术属性】
技术研发人员：王林水，刘宝锋，
申请(专利权)人：翔升上海电子技术有限公司，
类型：发明
国别省市：上海;31