训练样本获取方法和装置、行人检测方法和装置制造方法及图纸

本公开提供一种训练样本获取方法和装置、行人检测方法和装置。训练样本获取装置对俯视摄像头所采集视频中的图像帧利用超像素和光流进行图像帧分割，以分割出行人部分，并生成行人部分的行人边界框和对应的掩模图；将行人边界框提供给跟踪系统，以便跟踪系统利用追踪器，对视频中在行人边界框内的行人部分进行跟踪，并输出行人部分的追踪边界框和对应的掩模图；在行人边界框和追踪边界框中，对行人部分所占比例最大的边界框及对应的掩模图进行标注，以生成样本数据。本公开可自动生成标记样本，有效提升样本生成效率和行人检测结果。

【技术实现步骤摘要】
训练样本获取方法和装置、行人检测方法和装置
本公开涉及信息处理领域，特别涉及一种训练样本获取方法和装置、行人检测方法和装置。
技术介绍
为了能够在诸如超市、商场等室内场景下对行人进行有效检测，通常在室内顶部安装具有俯视摄像头。由于俯视摄像头可有效规避室内物体(例如，货架、办公家具等)的遮挡，从而通过深度学习模型对图像进行处理可准确统计出室内人数和行人位置。
技术实现思路
专利技术人通过研究发现，在深度学习模型的训练过程中，需要利用大量的标注数据来进行训练。目前的标注数据主要通过人工标注的方式来获取，因此会耗费大量的时间和人力成本，同时在人员密集的场所，人工标注容易出现错误，从而导致深度学习模型在进行行人检测时出现漏检。为此，本公开提供一种能够自动生成训练样本的方案，以便有效提升效率和行人检测结果。根据本公开实施例的第一方面，提供一种训练样本获取方法，包括：对俯视摄像头所采集视频中的图像帧利用超像素和光流进行图像帧分割，以分割出行人部分，并生成所述行人部分的行人边界框和对应的掩模图；将所述行人边界框提供给跟踪系统，以便所述跟踪系统利用追踪器，对所述视频中在所述行人边界框内的行人部分进行跟踪，并输出所述行人部分的追踪边界框和对应的掩模图；在所述行人边界框和所述追踪边界框中，对行人部分所占比例最大的边界框及对应的掩模图进行标注，以生成样本数据。在一些实施例中，在所述行人边界框和所述追踪边界框中，对行人部分所占比例最大的边界框及对应的掩模图进行标注包括：计算所述行人边界框和所述追踪边界框的交并比IOU；在所述IOU大于预定比值门限的情况下，计算所述行人边界框中的行人部分所占比例的第一比值和所述追踪边界框中的行人部分所占比例的第二比值；若所述第一比值大于所述第二比值，则对所述行人边界框及对应的掩模图进行标注，以生成样本数据；若所述第一比值不大于所述第二比值，则对所述追踪边界框及对应的掩模图进行标注，以生成样本数据。在一些实施例中，上述方法还包括：在所述IOU不大于预定比值门限的情况下，对所述行人边界框及对应的掩模图进行标注，以生成样本数据，并指示所述追踪系统重新选择追踪器对所述行人边界框内的行人部分进行跟踪。在一些实施例中，对俯视摄像头所采集的图像帧利用超像素和光流进行图像帧分割包括：在所述俯视摄像头所采集的视频中，截取预定长度的视频片段；计算所述视频片段的平均运动量；若所述平均运动量在预定范围内，则对所述视频片段中的各图像帧利用超像素和光流进行图像帧分割。在一些实施例中，所述图像帧分割包括：计算所述俯视摄像头所采集的当前图像帧的全部超像素；利用每个超像素和背景模型帧的特征距离，确定所述每个超像素作为图像前景的前景概率；利用所述当前图像帧和前一图像帧确定相应光流；利用所述当前图像帧中全部超像素的前景概率和相应光流来确定所述当前图像帧中是否存在行人；若存在行人，则在所述当前图像帧中分割出行人部分。在一些实施例中，利用每个超像素和背景模型帧的特征距离，确定所述每个超像素作为图像前景的前景概率包括：若与第i个超像素相对应的特征xi中有J个特征值，所述第i个超像素与所述背景模型帧的对应区域的特征yi中有J个特征值，则利用所述特征xi中的第j个特征值与所述特征yi中的第j个特征值的差值来确定所述第i个超像素作为图像前景的前景概率spidist，1≤j≤J。在一些实施例中，利用所述当前图像帧中全部超像素的前景概率和相应光流来确定所述当前图像帧中是否存在行人包括：利用所述第i个超像素的前景概率spidist和所述第i个超像素的光流信息来确定所述第i个超像素的能量值；若所述第i个超像素的能量值大于预定能量门限，则将所述第i个超像素作为前景像素；若由前景像素组成的连通域的面积大于预定区域门限，则确定所述当前图像帧中存在行人。根据本公开实施例的第二方面，提供一种训练样本获取装置，包括：行人分割模块，被配置为对俯视摄像头所采集视频中的图像帧利用超像素和光流进行图像帧分割，以分割出行人部分，并生成所述行人部分的行人边界框和对应的掩模图；行人跟踪模块，被配置为将所述行人边界框提供给跟踪系统，以便所述跟踪系统利用追踪器，对所述视频中的所述行人边界框内的行人部分进行跟踪，并输出所述行人部分的追踪边界框和对应的掩模图；样本选择模块，被配置为在所述行人边界框和所述追踪边界框中，对行人部分所占比例最大的边界框及对应的掩模图进行标注，以生成样本数据。根据本公开实施例的第三方面，提供一种训练样本获取装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。根据本公开实施例的第四方面，提供一种行人检测方法，包括：利用经如上述任一实施例所述的训练样本获取方法所获取的样本数据对深度学习模型进行训练；利用经训练的深度学习模型对俯视摄像头所采集的图像帧进行处理，以识别出图像帧中的行人。根据本公开实施例的第五方面，提供一种行人检测装置，包括：训练模块，被配置为利用经上述任一实施例所述的训练样本获取方法所获取的样本数据对深度学习模型进行训练；识别模块，被配置为利用经训练的深度学习模型对俯视摄像头所采集的图像帧进行处理，以识别出图像帧中的行人。根据本公开实施例的第六方面，提供一种行人检测装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。根据本公开实施例的第七方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例涉及的方法。通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本公开一个实施例的训练样本获取方法的流程示意图；图2为本公开一个实施例的图像帧分割方法的流程示意图；图3A-图3F为本公开一些实施例的行人分割的示意图；图4为本公开一个实施例的边界框筛选方法的流程示意图；图5为本公开一个实施例的训练样本获取装置的结构示意图；图6为本公开另一个实施例的训练样本获取装置的结构示意图；图7为本公开一个实施例的行人检测方法的流程示意图；图8为本公开一个实施例的行人检测装置的结构示意图；图9为本公开另一个实施例的行人检测装置的结构示意图。具体实施方式下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公本文档来自技高网...

【技术保护点】
1.一种训练样本获取方法，包括：/n对俯视摄像头所采集视频中的图像帧利用超像素和光流进行图像帧分割，以分割出行人部分，并生成所述行人部分的行人边界框和对应的掩模图；/n将所述行人边界框提供给跟踪系统，以便所述跟踪系统利用追踪器，对所述视频中在所述行人边界框内的行人部分进行跟踪，并输出所述行人部分的追踪边界框和对应的掩模图；/n在所述行人边界框和所述追踪边界框中，对行人部分所占比例最大的边界框及对应的掩模图进行标注，以生成样本数据。/n

【技术特征摘要】
1.一种训练样本获取方法，包括：
对俯视摄像头所采集视频中的图像帧利用超像素和光流进行图像帧分割，以分割出行人部分，并生成所述行人部分的行人边界框和对应的掩模图；
将所述行人边界框提供给跟踪系统，以便所述跟踪系统利用追踪器，对所述视频中在所述行人边界框内的行人部分进行跟踪，并输出所述行人部分的追踪边界框和对应的掩模图；
在所述行人边界框和所述追踪边界框中，对行人部分所占比例最大的边界框及对应的掩模图进行标注，以生成样本数据。


2.根据权利要求1所述的方法，其中，在所述行人边界框和所述追踪边界框中，对行人部分所占比例最大的边界框及对应的掩模图进行标注包括：
计算所述行人边界框和所述追踪边界框的交并比IOU；
在所述IOU大于预定比值门限的情况下，计算所述行人边界框中的行人部分所占比例的第一比值和所述追踪边界框中的行人部分所占比例的第二比值；
若所述第一比值大于所述第二比值，则对所述行人边界框及对应的掩模图进行标注，以生成样本数据；
若所述第一比值不大于所述第二比值，则对所述追踪边界框及对应的掩模图进行标注，以生成样本数据。


3.根据权利要求2所述的方法，还包括：
在所述IOU不大于预定比值门限的情况下，将对所述行人边界框及对应的掩模图进行标注，以生成样本数据，并指示所述追踪系统重新选择追踪器对所述行人边界框内的行人部分进行跟踪。


4.根据权利要求1-3中任一项所述的方法，其中，对俯视摄像头所采集的图像帧利用超像素和光流进行图像帧分割包括：
在所述俯视摄像头所采集的视频中，截取预定长度的视频片段；
计算所述视频片段的平均运动量；
若所述平均运动量在预定范围内，则对所述视频片段中的各图像帧利用超像素和光流进行图像帧分割。


5.根据权利要求4所述的方法，其中，所述图像帧分割包括：
计算所述俯视摄像头所采集的当前图像帧的全部超像素；
利用每个超像素和背景模型帧的特征距离，确定所述每个超像素作为图像前景的前景概率；
利用所述当前图像帧和前一图像帧确定相应光流；
利用所述当前图像帧中全部超像素的前景概率和相应光流来确定所述当前图像帧中是否存在行人；
若存在行人，则在所述当前图像帧中分割出行人部分。


6.根据权利要求5所述的方法，其中，利用每个超像素和背景模型帧的特征距离，确定所述每个超像素作为图像前景的前景概率包括：
若与第i个超像素相对应的特征xi中有J个特征值，所述第i个超像素与所...

【专利技术属性】
技术研发人员：李艺，董博，
申请(专利权)人：北京京东乾石科技有限公司，
类型：发明
国别省市：北京;11