监视系统及监视方法技术方案

本发明专利技术提供一种监视系统及监视方法。监视系统(MS)具备：拍摄并输入群体的影像的影像输入单元(1)；根据所输入的影像来计算光流的光流计算单元(2)；将影像上的区域划分为进行非稳定判定的单位的块的判定块设定单元(3)；对各判定块内产生的光流的属性进行合计的光流属性合计单元(4)；根据合计完的光流的属性来计算评价该判定块的稳定度的评价指标的稳定度评价指标计算单元(5)；根据评价指标的值来判定该判定块的非稳定状态的非稳定状态判定单元(6)；以及将判定出的稳定或者非稳定状态描绘在影像上并输出到监视器或者记录单元的输出单元(7)。由此，根据监视照相机拍摄到的群体的影像可检测包含稳定/非稳定在内的各种各样的状态。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及从利用监视照相机拍摄到的群体影像中检测包含稳定/非稳定在内 的各种各样的状态的。
技术介绍
在车站、机场、广场、大厦等、非特定的多人聚集的公共场所内，作为提早检测犯罪 或危险行为的方法，期望一种利用照相机监视群众并自动检测非稳定状态的技术。作为对 群众的非稳定状态进行检测的现有技术以下所示。另外，作为例子在以人为对象的情况下， 作为群众来说明。一般而言使用群体的词汇。专利文献I为了检测随机的粒子运动中的、不同于稳定的活动而将观察区域划分 成小区域，将小区域内的粒子数的时间变化比其他大的区域作为存在活动与其他不同的粒 子的异常区域来检测。涉及利用该技术而在群体中检测进行不同于其他人的运动的人类的 方法及程序。专利文献2根据影像数据来计算光流(optical f low),并根据流的大小(速度) 的平均、分散来探测拥挤状态已经局部地发生变化的状况。在先技术文献专利文献专利文献1:W02006/080367号公报专利文献2 JP特开2006-99241号公报
技术实现思路
专利技术所要解决的技术问题在专利文献I所公开的某一现有技术中，由于前提是随机的运动、或者向一个方 向的运动为稳定的，故无法适用于各种各样的方向的运动混合存在的群体的场景。再有，只 能用于检测不同于其他的运动。另一方面，专利文献2所公开的某一现有技术，由于只观察光流的大小，故无法探 测逆行等的与方向有关的异常。再有，由于仅判断区域的流的大小的平均值、分散等统计量 在区域间的差异，故可检测的可能性仅在于是否产生了异常，而无法检测具体是产生了何 种内容的状态。本专利技术是用于解决上述课题的专利技术，其目的在于提供一种可通用地从利用监视照 相机拍摄到的群体影像中检测包含稳定/非稳定在内的各种各样的状态的监视系统及监 视方法。用于解决问题的技术方案为达成上述目的，本专利技术的监视系统输入对包括多个移动体在内的群体进行了拍 摄的影像，并根据影像上的运动信息来检测上述群体的非稳定状态，其特征在于，具备影 像输入单元，其拍摄并输入群体的影像；光流计算单元，其根据输入的在不同时刻拍摄到的影像来计算光流；判定块设定单元，其将影像上的监视区域设定为进行非稳定判定的单位 的判定块；光流属性合计单元，其按每个判定块对产生的光流的属性进行合计；稳定度评 价指标计算单元，其根据合计完的光流的属性来计算用于评价判定块的稳定度的稳定度评 价指标的评价值；非稳定状态判定单元，其根据稳定度评价指标的评价值，判定判定块的非 稳定状态；以及输出单元，其向影像上输出非稳定状态判定单元的判定结果。在本专利技术的监视系统中，其特征在于光流属性合计单元对判定块内产生的光流 的方向的属性进行量化，并以按方向分类的分布进行合计；稳定度评价指标计算单元根据 量化后的按方向分类的分布来求取流数多的高位2个方向，计算3种稳定度评价指标的评 价值，即表示流数向高位2个方向的集中度的方向集中度、高位2个方向所成的角度、表示 高位2个方向的流数的比例的逆行度；非稳定状态判定单元基于3种稳定度评价指标的评 价值，将与主流的流向相对的逆行判定为非稳定状态。对于其他方案而言，将在后面叙述。专利技术效果根据本专利技术，可从拍摄到的群体的影像中通用地检测包含稳定/非稳定在内的各 种各样的状态。附图说明图1是表示本专利技术的监视系统的第一实施方式的构成的框图。图2是表示在图像上重叠显示了对光流进行计算后的结果的例子的图。图3是表示在图像中设定了判定块的例子的图。图4是用于说明在计算按方向分类的分布之际的、光流的按方向分类的编码方法 的图。图5是表示对按方向符号分类的光流的产生数进行合计后的结果的按方向分类 的分布的例子的图，(a)、(b)、(c)是表示针对图3所示的判定块31、32、34的各区域而言， 对按方向符号分类的光流的产生数进行合计后的结果的按方向分类的分布例子的图。图6是表示高位2个峰值的求取方法的图。图7是表示在输入图像中将由光流计算单元计算出的光流以按编码后的方向分 类的方式用颜色区分开进行显示的例子的图。图8是表示在输入图像上重叠显示了由光流属性合计单元合计后的结果的例子 的图。图9是表示在输入图像上重叠显示了由稳定度评价指标计算单元计算出的评价 指标的值和由非稳定状态判定单元判定后的结果的例子的图。图10是表示在由影像输入单元输入的影像上重叠描绘了由光流计算单元计算出 的光流的例子的图。图11是表示利用光流属性合计单元将光流计算单元计算出的光流以按速度分类 的分布进行合计后的结果的直方图的图，(a)是表示图10的判定块101所示的区域的光流 的速度分布的直方图的图、(b)是图表示10的判定块IOf所示的区域的光流的速度分布的 直方图的图。图12是表示第三实施方式中向监视器上输出的画面例的图。图13是表示在不同的时刻由影像输入单元输入的影像上重叠描绘了由光流计算单元计算出的光流的例子的图，(a)是表示在时刻t拍摄并被输入的图像的图、(b)是表示在时刻t+n拍摄((a)的图像的η帧后)并被输入的图像的图。图14是用于说明第四实施方式中时间序列的流数的变化的图。图15是表示输入来自监视照相机的影像之后执行并输出多个非稳定判定的监视系统MS的处理流程的图。图16是表示图15的后续处理的流程的图，表示输入来自监视照相机的影像之后执行并输出多个非稳定判定的监视系统MS的处理流程的图。图17是用于说明光流属性种类保存单元和光流属性合计结果保存单元的保存项目的图，(a)是表示光流属性种类保存单元15s的内容的图、(b)是表示光流属性合计结果保存单元15t的保存项目的图。图18是用于说明稳定度评价指标种类保存单元和稳定度评价指标值保存单元的保存项目的图，(a)是表示稳定度评价指标种类保存单元15u的例子的图、(b)是表示稳定度评价指标值保存单元15v的保存项目的例子的图。图19是用于说明非稳定判定种类保存单元和非稳定判定结果保存单元的保存项目的图，(a)是表示非稳定判定种类保存单元15w的例子的图、(b)是表示非稳定判定结果保存单元15x的例子的图。图20是表示多个非稳定判定标志为I的情况下的、判定结果的输出方法的例子的图。具体实施方式以下，参照附图详细地说明本专利技术的监视系统的实施方式。 第一实施方式>>图1是表示本专利技术的监视系统的第一实施方式的构成的框图。图1所示的监视系统MS具有影像输入单元1、 光流计算单元2、判定块设定单元3、光流属性合计单元4、稳定度评价指标计算单元5、非稳定状态判定单元6、和输出单元7。另外，本实施方式中虽然监视系统MS对包括多个移动体在内的群体进行监视，但移动体并未限定于人，也可以是动物、人乘坐的汽车等。影像输入单元I从上部俯瞰车站、机场、广场、大厦等想要监视的区域、或者从附近用照相机进行拍摄，在模拟照相机的情况下在进行A/D (模拟/数字)变换的基础上取入图像保存单元(未图示)中。以时间序列连续地取入影像，若将当前的时刻设为t，则按时刻t的图像、时刻t-Ι的图像、时刻t-2的图像的顺序在图像保存单元中保存。光流计算单元2是根据所输入的图像来计算光流的单元。光流是指在不同的时间拍摄到的2张图像间进行相同对象的对应建立、并将其移动量作为向量数据来表现。关于具体的计算方法，在CG-ART本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.07.12 JP 2010-1576681.一种监视系统，其输入对包括多个移动体在内的群体进行拍摄而得到的影像，并根据影像上的运动信息来检测上述群体的非稳定状态，该监视系统的特征在于，具备影像输入单元，其拍摄并输入上述群体的影像；光流计算单元，其根据所输入的在不同时刻拍摄到的影像来计算光流；判定块设定单元，其将上述影像上的监视区域设定为进行非稳定判定的单位的判定块；光流属性合计单元，其按每个上述判定块对所产生的上述光流的属性进行合计；稳定度评价指标计算单元，其根据所合计后的光流的属性，来计算用于对上述判定块的稳定度进行评价的稳定度评价指标的评价值；非稳定状态判定单元，其根据上述稳定度评价指标的评价值，判定上述判定块的上述非稳定状态；以及输出单元，其将上述非稳定状态判定单元的判定结果输出至上述影像上。2.根据权利要求1所述的监视系统，其特征在于，上述光流属性合计单元对上述判定块内产生的上述光流的方向的属性进行量化，并以按方向分类的分布进行合计。3.根据权利要求2所述的监视系统，其特征在于，上述稳定度评价指标计算单元根据所量化后的按方向分类的分布来求取流数多的高位2个方向，计算3种上述稳定度评价指标的评价值,即表示流数向上述高位2个方向的集中度的方向集中度、上述高位2个方向所成的角度、表示上述高位2个方向的流数的比例的逆行度，上述非稳定状态判定单元基于上述3种稳定度评价指标的评价值，将与主流的流向相对的逆行判定为上述非稳定状态。4.根据权利要求2所述的监视系统，其特征在于，上述输出单元针对所量化后的按方向分类的分布，设定与各方向的分类对应的颜色， 将各个上述光流以按方向分类的方式用颜色区分开后进行描绘，并重叠显示在上述影像上。5.根据权利要求2所述的监视系统，其特征在于，上述输出单元将所量化后的按方向分类的分布重叠显示在上述影像上的相应的上述判定块上。6.根据权利要求1所述的监视系统，其特征在于，上述光流属性合计单元以速度分布对上述判定块内产生的上述光流的大小进行合计。7.根据权利要求6所述的监视系统，其特征在于，作为上述稳定度评价指标的评价值，上述稳定度评价指标计算单元计算上述速度分布的平均值μ、上述速度分布的标准偏差σ、稳定范围的下限值μ _2 σ至稳定范围的上限值 μ +2 σ的范围、或者稳定范围的下限值μ_3σ至稳定范围的上限值μ+3σ的范围，在存在脱离上述范围的上述光流的情况下，上述非稳定状态判定单元判定为该块内存在速度与其他不同的运动的速度异常、即上述非稳定状态。8.根据权利要求6所述的监视系统，其特征在于，上述光流属性合计单元在将上述判定块内产生的上述光流的大小变换为世界坐标上的距离之后，对速度分布进行合计。9.根据权利要求7所述的监视系统，其特征在于，上述输出单元以不同于其他的颜色来描绘速度的大小脱离上述稳定范围的上述光流， 并重叠到上述影像上进行输出。10.根据权利要求1所述的监视系统，其特征在于，上述光...

【专利技术属性】
技术研发人员：堀田都，三好雅则，伊藤渡，
申请(专利权)人：株式会社日立国际电气，
类型：
国别省市：