标注包括一组帧的视频流的方法和装置制造方法及图纸

本文公开了用于标注从视频数据流中获得的视频轨道的系统和方法。如果视频轨道中包含至少一个包含特定人物的感兴趣区域，则所述视频轨道被视为正向视频轨道；如果视频轨道不包含包含所述特定人物的感兴趣区域，则所述视频轨道被视为负向视频轨道。视觉相似性模型使用正向袋进行训练。

【技术实现步骤摘要】
【国外来华专利技术】标注包括一组帧的视频流的方法和装置交叉申请本专利技术要求2016年8月26日递交的专利技术名称为“标注包括一组帧的视频流的方法和装置(MethodandApparatusforAnnotatingaVideoStreamComprisingaSequenceofFrames)”的第15/248,684号美国专利案的在先申请优先权，该在先申请的全部内容以引入的方式并入本文本中。
本专利技术大体上涉及视频处理领域，尤其涉及基于视频的对象跟踪。
技术介绍
视频监控系统可用于跟踪视频中出现的对象。监控视频还可以用于搜索视频中出现的对象，包括人。现代视频设备可以产生大量数据，手动审查不仅耗时，而且成本高效率低。可使用机器学习和计算机视觉技术来辅助监控。然而，行人重识别等监控任务通常需要基于监督机器学习的模型训练，而监督机器学习需要依赖操作人员对视频帧数据进行手动逐帧审查才能对单个图像进行标注。因此，使用这种系统的成本很高。
技术实现思路
一种标注包括一组帧的视频流的示例方法包括：扫描所述一组帧中的第一帧以搜索人物；向视频轨道添加所述第一帧中可能包含所述人物的图像的感兴趣区域的表示；扫描所述一组帧中的下一帧以搜索人物，其中所述下一帧的所述扫描基于前一帧中所述感兴趣区域的位置在所述下一帧的空间位置处开始；向所述视频轨道添加所述下一帧中的感兴趣区域的表示；以及基于所述视频轨道中的至少一个所述感兴趣区域是否包含特定人物的图像为所述视频轨道指定标签。在一些实施例中，所述第一帧中的所述感兴趣区域的所述表示包括指示所述感兴趣区域的位置和尺寸的一组坐标。在一些实施例中，所述第一帧中的所述感兴趣区域的所述表示包括从所述第一帧中的所述感兴趣区域中提取的图像数据。在一些实施例中，所述方法还包括在所述指定之前，在显示设备上显示所述视频轨道。在一些实施例中，为所述视频轨道指定标签包括：如果所述视频轨道中的至少一个所述感兴趣区域包含所述特定人物，则为所述视频轨道指定正标签。在一些实施例中，所述贴有正标签的视频轨道中包含所述特定人物的帧数小于所述贴有正标签的视频轨道中的总帧数。在一些实施例中，所述视频流包含不止一个人物的图像，并且所述视频轨道包括多个视频轨道，其中所述多个视频轨道中的每一个对应于所述相应不止一个人物中的每一个。在一些实施例中，所述第一帧和所述下一帧是所述视频流中的连续帧。在一些实施例中，所述扫描所述第一帧包括分析像素数据。在一些实施例中，所述分析包括基于所述像素数据计算元数据。在一些实施例中，所述扫描所述第一帧包括：分析滑动窗口内包含的所述第一帧的一部分；以及确定所述部分包含所述人物的概率。在一些实施例中，所述方法还包括基于所述贴有标签的视频轨道针对所述特定人物构建相似性模型。在一些实施例中，所述构建包括使用多实例学习算法来构建。一种标注包括一组帧的视频流的示例系统包括：处理器；存储器，存储有由所述处理器执行的计算机可读指令，所述指令包括：视频分析模块，用于产生视频轨道，所述视频分析模块包括：人体检测模块，用于扫描所述一组帧中的图像数据以搜索人物；视觉特征提取模块，用于向所述视频轨道添加所述一组帧中可能包含所述人物的感兴趣区域表示；人体跟踪模块，用于基于前一帧中的感兴趣区域的位置来确定在所述一组中的各个帧的所述扫描的起始位置；标记模块，用于基于所述视频轨道中的至少一个所述感兴趣区域是否包含特定人物的图像为所述视频轨道指定标签；以及存储设备，用于存储所述贴有标签的视频轨道。在一些实施例中，所述感兴趣区域的所述表示包括指示所述感兴趣区域的位置和尺寸的一组坐标。在一些实施例中，所述感兴趣区域的所述表示包括从帧中提取的所述感兴趣区域的图像。在一些实施例中，所述系统还包括显示设备，用于在为所述视频轨道贴标签之前显示所述视频轨道。在一些实施例中，为所述视频轨道指定所述标签包括：如果所述视频轨道中的至少一个所述感兴趣区域包含所述特定人物，则为所述视频轨道指定正标签。在一些实施例中，所述贴有正标签的视频轨道中包含所述特定人物的帧数小于所述贴有正标签的视频轨道中的总帧数。在一些实施例中，所述扫描包括扫描所述视频流的连续帧。在一些实施例中，所述扫描包括分析像素数据。在一些实施例中，所述分析包括基于所述像素数据计算元数据。在一些实施例中，所述扫描所述第一帧包括：分析滑动窗口内包含的所述图像数据；以及确定所述滑动窗口包含所述人物的概率。在一些实施例中，所述系统还包括视觉相似性模块，用于基于所述贴有标签的视频轨道针对所述特定人物构建相似性模型。在一些实施例中，所述构建包括使用多实例学习算法来构建。提供了一种示例计算机可读存储介质，所述计算机可读存储介质上存储有计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时使所述一个或多个处理器执行一种标注包括一组帧的视频流的方法，所述方法包括：扫描所述一组帧中的第一帧以搜索人物；向视频轨道添加所述第一帧中可能包含所述人物的图像的感兴趣区域的表示；扫描所述一组帧中的下一帧以搜索人物，其中所述下一帧的所述扫描基于前一帧中所述感兴趣区域的位置在所述下一帧的空间位置处开始；向所述视频轨道添加所述下一帧中的感兴趣区域的表示；以及基于所述视频轨道中的至少一个所述感兴趣区域是否包含特定人物的图像为所述视频轨道指定标签。本文所述的计算系统可以包括任意组合形式的上述功能。附图说明附图中描绘了以下示例实施例：图1为示例视频轨道标注系统的方框图；图2为示出示例服务器中各硬件组件的方框图；图3为示例视频流中各帧的图示；图4为图3中一个帧的放大图示；图5为视频流中一组ROI的图示；图6描绘了运行在服务器上的软件模块的简化布置；图7更详细地描绘了图6所示的分析模块中的各个组件；图8A和图8B所示为重新调整尺寸之前和之后的视频帧中滑动窗口的示例；图9A所示为监督分类器学习的示例表示；图9B所示为监督距离度量学习的示例表示；图10为扫描视频帧以搜索人物的示例过程的流程图；图11为对包含人物的视频进行视觉索引的示例过程的流程图；图12A为包含ROI的第一示例视频轨道；图12B为包含ROI的第二示例视频轨道；图12C为包含ROI的第三示例视频轨道；以及图13为标注视频以与基于多实例学习的方法一起使用的示例过程的流程图。具体实施方式本文所述的实施例提供了用于标注视频以进行基于视频的对象搜索(video-basedobjectsearching，VBOS)的系统、过程和设备。可以使用基于计算机视觉和机器学习的智能视频分析技术来实现本文所述的实施例的各方面。通过智能视频分析技术在VBOS过程中从包含感兴趣对象的视频帧中提取并标记信息。所提取的信息用于制定关于给定视频中的感兴趣对象与其它视频中先前识别出的感兴趣对象是否匹配的最终决策。尽管本文所述的许多示例涉及基于视频的人物搜索(video-basedpeoplesearching，VBPS)，但是本文所述的各方面适用于除人物以外的任何对象(例如车辆)。当在部署在广阔地理区域的多个摄像机所记录的视频中搜索人物时，VBPS过程可能比较困难。在不同摄像机于不同时间所记录的视频中，同一人物的外观会产生高度的光度和几何变化。例如，移动中的人物出现在不同角度，并且与不同摄像机的距离也不同。此外，一个人可能本文档来自技高网...

【技术保护点】
1.一种标注包括一组帧的视频流的方法，其特征在于，所述方法包括：扫描所述一组帧中的第一帧以搜索人物；向视频轨道添加所述第一帧中可能包含所述人物的图像的感兴趣区域的表示；扫描所述一组帧中的下一帧以搜索人物，其中所述下一帧的所述扫描基于前一帧中所述感兴趣区域的位置在所述下一帧的位置处开始；向所述视频轨道添加所述下一帧中的感兴趣区域的表示；以及基于所述视频轨道中的至少一个所述感兴趣区域是否包含特定人物的图像为所述视频轨道指定标签。

【技术特征摘要】
【国外来华专利技术】2016.08.26 US 15/248,6841.一种标注包括一组帧的视频流的方法，其特征在于，所述方法包括：扫描所述一组帧中的第一帧以搜索人物；向视频轨道添加所述第一帧中可能包含所述人物的图像的感兴趣区域的表示；扫描所述一组帧中的下一帧以搜索人物，其中所述下一帧的所述扫描基于前一帧中所述感兴趣区域的位置在所述下一帧的位置处开始；向所述视频轨道添加所述下一帧中的感兴趣区域的表示；以及基于所述视频轨道中的至少一个所述感兴趣区域是否包含特定人物的图像为所述视频轨道指定标签。2.根据权利要求1所述的方法，其特征在于，所述第一帧中的所述感兴趣区域的所述表示包括指示所述感兴趣区域的位置和尺寸的一组坐标。3.根据权利要求1或2所述的方法，其特征在于，所述第一帧中的所述感兴趣区域的所述表示包括从所述第一帧中的所述感兴趣区域中提取的图像数据。4.根据权利要求1至3中任意权利要求所述的方法，其特征在于，还包括：在所述指定之前，在显示设备上显示所述视频轨道。5.根据权利要求1至4中任意权利要求所述的方法，其特征在于，为所述视频轨道指定标签包括：如果所述视频轨道中的至少一个所述感兴趣区域包含所述特定人物，则为所述视频轨道指定正标签。6.根据权利要求5所述的方法，其特征在于，所述贴有正标签的视频轨道中包含所述特定人物的帧数小于所述贴有正标签的视频轨道中的总帧数。7.根据权利要求1至6中任意权利要求所述的方法，其特征在于，所述视频流包含不止一个人物的图像，并且所述视频轨道包括多个视频轨道，其中所述多个视频轨道中的每一个对应于所述相应不止一个人物中的每一个。8.根据权利要求1至7中任意权利要求所述的方法，其特征在于，所述第一帧和所述下一帧是所述视频流中的连续帧。9.根据权利要求1至8中任意权利要求所述的方法，其特征在于，所述扫描所述第一帧包括分析像素数据。10.根据权利要求9所述的方法，其特征在于，所述分析包括基于所述像素数据计算元数据。11.根据权利要求1至10中任意权利要求所述的方法，其特征在于，所述扫描所述第一帧包括：分析滑动窗口内包含的所述第一帧的一部分；以及确定所述部分包含所述人物的概率。12.根据权利要求1至11中任意权利要求所述的方法，其特征在于，还包括基于所述贴有标签的视频轨道针对所述特定人物构建相似性模型。13.根据权利要求12所述的方法，其特征在于，所述构建包括使用多实例学习算法来构建。14.一种标注包括一组帧的视频流的系统，其特征在于，所述系统包括：处理器；存储器，存储有由所述处理器执行的计算机可读指令，所述指令包括：视频分析模块，用于产生视频轨道，所述视频分析模块包括：人体检测模块，用于扫描所述一组帧中的...

【专利技术属性】
技术研发人员：张瑞，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44