用于使用多个摄像机进行对象和事件识别的系统和方法技术方案

技术编号:14624774 阅读:170 留言:0更新日期:2017-02-12 11:04
一种用于识别所关注的对象和事件的系统使用具有图像处理功能的一个或多个摄像机。该系统包括配置成从多个角度实施场景的图像处理的多个摄像机,以便提取和传输对应于场景中的对象或人的元数据。摄像机传输元数据至处理站,所述处理站配置成在时间上处理数据流,以便检测对象和受关注事件,从而警告场景中的对象或事件的监控人员。

【技术实现步骤摘要】
【国外来华专利技术】优先权声明本申请要求2013年5月10日提交的、题为“SYSTEMANDMETHODFOROBJECTANDEVENTIDENTIFICATIONUSINGMULTIPLECAMERAS”的美国临时专利申请No.61/822051的优先权,其全部内容通过引用并入本文。
本公开总体涉及视频监控的领域,且更特别地涉及用于使用围绕场景以不同角度布置的多个摄像机监控对象和事件的系统和方法。
技术介绍
视频监控系统出于包括安保和公共安全的各种目的而被广泛地部署。在通常的视频监控系统中,在不同的位置上部署一个或多个摄像机来监控活动。例如,视频监控系统生成公共场所、运输设施、零售商店、工业设施和住宅以及其他私有物业的图像。监控系统通常包括:数据存储装置,其将记录的视频中的某些或全部存档,以便以后查阅;和一个或多个视频输出装置,其能够回放实时的和存档的视频数据。在某些监控系统中,摄像机生成视频数据,该视频数据由一个或多个操作人员监控,该操作人员可查看视频中的活动并在查看到事件时采取适当的行动。例如,在零售商店处的监控系统中,操作者查看商店中的个人的实时视频,并在个人试图盗取商品的情况下通知安保人员。在某些视频监控系统中,多个摄像机从不同位置和角度记录单个场景的视频。尽管从多个角度生成视频可有助于收集关于场景的附加细节,但是多个视频记录使操作人员难以以高效的方式观察。另外,在联网的视频监控系统中,多个视频流耗费大量带宽和网络资源,尤其是在无线视频监控系统中。因此,改进视频监控系统、从而以自动的方式在记录的视频数据识别所关注的事件并以高效的方式利用网络带宽是有益的。
技术实现思路
一种视频监视系统包括与中心处理站通信的分布式摄像机。中心处理站与使用背景减除方法来提取前景对象的多个摄像机通信。我们的系统中的摄像机将元数据传输至中心处理站。将对应于人的元数据从对应于其他对象的元数据过滤出来。通过中心处理站来分析对应于人的前景元数据,以便识别由人实施的动作和事件。摄像机使用无线通信网络或其他合适的通信通道与中心处理站通信。在一个实施例中,视频监视系统包括:多个摄像机,其位于多个位置以便记录场景。每个摄像机包括:传感器,其配置成生成场景的视频数据,该视频数据包括一系列帧;第一网络装置,其配置成将视频数据和与视频数据相关的特征向量传输至处理站;和特征提取处理器,其操作性地连接至所述传感器和所述网络装置。所述特征提取处理器配置成:识别由所述传感器生成的视频数据中的多个特征向量;在第一网络装置处于第一操作模式的情况下仅将所述多个特征向量传输至处理站;和在第一网络装置处于第二操作模式的情况下仅响应于处理站对视频数据的请求而将视频数据传输至处理站。视频监视系统还包括处理站,其具有:第二网络装置;视频输出装置;和处理器,其操作性地连接至第二网络装置和所述视频输出装置。该处理器配置成:通过第二网络装置接收由所述多个摄像机中的每个摄像机生成的所述多个特征向量;参考从所述多个摄像机中的至少两个接收的所述多个特征向量而识别场景中的对象和对象动作;参考事件的预定数据库而识别与场景中的对象动作对应的事件;生成传送来自所述多个摄像机中的至少一个摄像机的视频数据的请求;和通过视频输出装置生成来自所述至少一个摄像机的视频数据的图形显示,以显示与所述事件相关的对象。在另一实施例中,发展了一种用于实施场景监视的方法。该方法包括:通过第一摄像机中的传感器生成场景的第一视频数据,第一视频数据包括第一系列帧;通过第一摄像机中的特征提取处理器识别第一视频数据中的第一多个特征向量;在第一操作模式中通过第一摄像机中的网络装置仅将第一多个特征向量传输至处理站;在第二操作模式中仅响应于处理站对第一视频数据的请求通过第一摄像机中的网络装置将第一视频数据传输至处理站;通过第二摄像机中的另一传感器生成场景的第二视频数据,第二视频数据包括第二系列帧,第二摄像机与第一摄像机相比从不同的位置生成场景的第二视频数据;通过第二摄像机中的另一特征提取处理器识别第二视频数据中的第二多个特征向量;在第一操作模式中通过第二摄像机中的另一网络装置仅将第二多个特征向量传输至处理站;在第二操作模式中仅响应于处理站对第二视频数据的请求通过第二摄像机中所述另一网络装置将第二视频数据传输至处理站;通过处理站中的另一网络装置接收来自第一摄像机的第一多个特征向量和来自第二摄像机的第二多个特征向量;通过处理站中的事件处理器参考第一和第二多个特征向量来识别场景中的对象和对象动作;通过处理站中的事件处理器参考事件的预定数据库来识别对应于场景中的对象动作的事件;通过处理站中的事件处理器生成用于传送来自第一摄像机和第二摄像机中的至少一个的视频数据的请求;和通过视频显示装置生成从第一摄像机和第二摄像机中的至少一个接收的视频数据的图形显示,并通过视频输出装置显示与所述事件相关的对象。附图说明图1是视频监控系统的示意图。图2是示出了用于使用从观察场景的多个摄像机传输的元数据来识别事件的流程图的图。图3是在多数票决配置中针对从多个摄像机生成的事件的特征向量节点图表的图。图4是在多链条配置中针对从多个摄像机生成的事件的特征向量节点图表的图。图5是在多视场配置中针对从多个摄像机生成的事件的特征向量节点图表的图。图6是由监视系统中的多个摄像机生成的场景的一组图像。具体实施方式为了有助于理解本文所述实施例的原理的目的,现在将参照附图和随后的书面说明中的描述。并非由此意图对主题的范围进行限制。说明书还包括对所示出的实施例的任意改变和修改,且包括本公开所属领域的普通技术人员通常会想到的所述实施例的原理其他应用。在本文中,术语“场景”描绘了由监视系统使用多个摄像机监控的单个区域,所述多个摄像机位于多个位置处以便从不同方向查看场景。场景的示例包括、但不限于房间、门厅、广场、出入路线、街道、十字路口、零售商店、停车场设施等。在本文中,术语“稀疏编码”涉及用于生成相应于大量输入的数据的方法,所述数据使用多个“基向量”和“稀疏权重向量”而编码为向量。基向量使用惩罚优化过程(penalizedoptimizationprocess)生成,所述惩罚优化过程应用于在训练过程期间提供的多个预定输入向量。在一个实施例中,现有技术已知的l1优化过程用于生成相应于多个输入训练向量的基向量和稀疏权重向量。所使用的涉及向量或者矩阵的术语“稀疏”描述具有多个元素的向量或矩阵,其中给大多元素分配零值。在本文中,当应用于向量时术语“维...

【技术保护点】
一种监视系统,包括:多个摄像机,其位于多个位置以便记录场景,每个摄像机还包括:传感器,其配置成生成场景的视频数据,该视频数据包括一系列帧;第一网络装置,其配置成将视频数据和与视频数据相关的特征向量传输至处理站;和特征提取处理器,其操作性地连接至所述传感器和所述网络装置,所述特征提取处理器配置成:识别由所述传感器生成的视频数据中的多个特征向量;在第一网络装置处于第一操作模式的情况下仅将所述多个特征向量传输至处理站;和在第一网络装置处于第二操作模式的情况下仅响应于处理站对视频数据的请求而将视频数据传输至处理站;和处理站,其还包括:第二网络装置;视频输出装置;和处理器,其操作性地连接至第二网络装置和所述视频输出装置,该处理器配置成:通过第二网络装置接收由所述多个摄像机中的每个摄像机生成的所述多个特征向量;参考从所述多个摄像机中的至少两个接收的所述多个特征向量而识别场景中的对象和对象动作;参考事件的预定数据库而识别与场景中的对象动作对应的事件;生成传送来自所述多个摄像机中的至少一个摄像机的视频数据的请求;和通过视频输出装置生成来自所述至少一个摄像机的视频数据的图形显示,以显示与所述事件相关的对象。...

【技术特征摘要】
【国外来华专利技术】2013.05.10 US 61/822,0511.一种监视系统,包括:
多个摄像机,其位于多个位置以便记录场景,每个摄像机还包括:
传感器,其配置成生成场景的视频数据,该视频数据包括一系列帧;
第一网络装置,其配置成将视频数据和与视频数据相关的特征向量传输至处理站;和
特征提取处理器,其操作性地连接至所述传感器和所述网络装置,所述特征提取处理
器配置成:
识别由所述传感器生成的视频数据中的多个特征向量;
在第一网络装置处于第一操作模式的情况下仅将所述多个特征向量传输至处理站;和
在第一网络装置处于第二操作模式的情况下仅响应于处理站对视频数据的请求而将
视频数据传输至处理站;和
处理站,其还包括:
第二网络装置;
视频输出装置;和
处理器,其操作性地连接至第二网络装置和所述视频输出装置,该处理器配置成:
通过第二网络装置接收由所述多个摄像机中的每个摄像机生成的所述多个特征向量;
参考从所述多个摄像机中的至少两个接收的所述多个特征向量而识别场景中的对象
和对象动作;
参考事件的预定数据库而识别与场景中的对象动作对应的事件;
生成传送来自所述多个摄像机中的至少一个摄像机的视频数据的请求;和
通过视频输出装置生成来自所述至少一个摄像机的视频数据的图形显示,以显示与所
述事件相关的对象。
2.根据权利要求1所述的监视系统,其特征在于,所述多个摄像机中的每个中的特征提
取处理器还配置成:
识别视频数据中的一帧的与场景的背景对应的一部分;和
仅在所述一帧中的与场景的背景不对应的部分中识别视频数据中的所述多个特征向
量。
3.根据权利要求2所述的监视系统,其特征在于,每个摄像机中的特征提取处理器还配
置成:
生成边界框,该边界框对应于所述一帧的与场景的背景不对应的部分;
对所述一帧的在边界框中的所述部分调整大小,以生成所述一帧的被包括在边界框中
的所述部分的固定分辨率图像;和
参考所述固定分辨率图像而在所述多个特征向量中识别至少一个特征向量。
4.根据权利要求3所述的监视系统,其特征在于,特征提取处理器还配置成:
在固定分辨率图像中识别多个图像梯度;和
生成特征向量,所述特征向量包括与所述多个图像梯度对应的梯度直方图。
5.根据权利要求1所述的监视系统,其特征在于,所述多个摄像机中的第一摄像机中的
特征提取处理器还配置成:
针对视频数据中的第一帧识别第一特征向量;
通过第一网络装置将第一特征向量传输至处理站;
针对视频数据中的第二帧识别第二特征向量,第二帧在第一帧之后出现;和
通过第一网络装置将稀疏特征向量传输至处理站,该稀疏特征向量对应于第二特征向
量的与第一特征向量不同的部分。
6.根据权利要求4所述的监视系统,其特征在于,处理站中的处理器还配置成:
接收来自第一摄像机的第一特征向量;
接收来自所述多个摄像机中的第二摄像机的稀疏特征向量,该稀疏特征向量仅包括第
二摄像机中所生成的、在生成较早特征向量后发生变化的特征向量部分,所述较早特征向
量与来自第一摄像机的第一特征向量近似同时地生成;和
参考来自第一摄像机的第一特征向量而生成对应于来自第二摄像机的稀疏特征向量
的完全特征向量。
7.根据权利要求1所述的监视系统,其特征在于,处理站中的处理器还配置成:
参考所述多个特征向量,在来自所述多个摄像机中的每个的每个所述多个特征向量中
独立地识别出事件的出现或未出现,所述多个特征向量对应于来自在单个时间段期间对应
于对象动作的所述多个摄像机中的每个的多个关键帧;
响应于从所述多个摄像机中的大多数识别出事件的出现而识别出事件。
8.根据权利要求1所述的监视系统,其特征在于,处理站中的处理器还配置成:
接收来自第一摄像机的对应于视频数据的第一帧的第一多个特征向量;
识别出来自第一摄像机的第一多个特征向量对应于对于事件的预定数据库中的事件
而言的第一关键帧;
接收来自第二摄像机的、对应于视频数据的第二帧的第二多个特征向量;和
识别出来自第二摄像机的第二多个特征向量对应于来自事件的第二关键帧;和
生成分数,该分数对应于第一帧中的第一多个特征向量和第二帧中的第二多个特征向
量之间的变形;和
参考所述分数来识别事件的出现或未出现。
9.根据权利要求8所述的监视系统,其特征在于,处理站中的处理器还配置成:
识别对象的第一位置,该第一位置对应于从视频数据的第一帧提取的第一多个特征向
量;
识别对象的第二位置,该第二位置对应于从视频数据的第二帧提取的第二多个特征向
量;
实施单应变换,以便参考存在于视频数据的第一帧和视频数据的第二帧中的地平面来
识别对象的第一位置与对象的第二位置之间的距离;和
参考第一位置和第二位置之间的距离而生成对应于第一帧中的第一多个特征向量和
第二帧中的第二多个特征向量之间的变形的分数。
10.一种用于监视场景的方法,包括:
通过第一摄像机中的传感器生成场景的第一视频数据,第一视频数据包括第一系列
帧;
通过第一摄像机中的特征提取处理器识别第一视频数据中的第一多个特征向量;
在第一操作模式中通过第一摄像机中的网络装置仅将第一多个特征向量传输至处理
站;
在第二操作模式中仅响应于处理站对第一视频数据的...

【专利技术属性】
技术研发人员:N·奈卡尔P·拉赫瓦尔迪
申请(专利权)人:罗伯特·博世有限公司N·奈卡尔P·拉赫瓦尔迪
类型:发明
国别省市:德国;DE

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1