基于自然视频的实时智能监控方法技术

本发明专利技术公开了一种基于自然视频的实时智能监控方法。本方法运用了计算机图像处理和人工智能的知识，实现了对于公共场所和重要敏感场所的行人动作的无人智能监控和报警。首先，提取需学习的视频帧序列片段，得到反映人物运动过程的运动历史图像；在此基础上，运用自定义的特征向量提取方法，得到特定运动序列的向量表示，将向量样本存储于样本数据库；对需监控的视频帧序列，将其特征向量与样本数据在低维空间进行映射，通过最优化方法得到对应的分类并报警。本文通过设计出动作的样本学习机制和分类机制，提高了识别的准确性，增强了识别的扩展性；通过设计出人物运动序列的特征向量表示和提取方法，增强了动作表示的完整性和准确性。

【技术实现步骤摘要】

本专利技术涉及一种智能监控的方法，尤其涉及一种基于计算机图像处理和人 工智能知识来处理自然视频获得对特定场景进行实时智能监控的方法，属于计 算机图像处理和人工智能的综合领域。
技术介绍
随着城市人口的快速增长及城市环境的日益复杂，群体性事件、骚乱、恐 怖袭击等城市突发社会安全事件严重影响着城市公共安全。而建设平安城市， 已经成为当今国际社会的一个重要话题。谈到"平安城市"的建设，人们会很自然地联想到近年来在世界各地发生的恐怖事件。在美国"911"恐怖袭击、英 国伦敦地铁爆炸案之后，世界各国政府己逐渐将"反恐"、"城市安防"提上曰 程。我国公安部也组织了 "3111"工程，旨在在全国范围内推动城市报警与监 控建设。构建视频监控网络是目前大中型城市进行社会公共安全事件检测与预 警的主要手段之一。据有关数据显示，广州市2007年将安装完毕25万个监控 摄像头，这25万个摄像头将遍布广州市道路、桥梁、公共场所、公共交通系统 和案件多发区域；在北京，目前共有摄像头26.3万个，并计划在2007年底将北 京的ATM机、大中型商场、加油站、中小学幼儿园的内保监控系统全部与警方 监控网联网；在上海，2010年前将在马路上安装20多万个监控摄像头，全面建 立"社会防控体系"；在英国，全国范围内已经安装摄像头420多万个，平均每 14人一个， 一个人一天之中可能出现在多达300个摄像头前。视频监控技术正 在向着数字化、网络化、智能化的方向发展，其中智能化是"三化"的最高境 界。从目前国内外的发展现状来看，视频监控技术已经基本走过了数字化与网 络化的发展阶段，当今政府决策部门与公安部门所面临的已不再是视频监控内 容的匮乏，而是如何对其中的关键信息进行自动、智能、实时的甄选、处理与 理解，并用于突发社会安全事件的辅助决策与预警。从技术层面上看，智能视频(Intelligent Video)源自计算机视觉(Computer Vision)技术。智能视频监控有别于一般的网络化视频监控，它是一种更高端的 视频监控应用。智能视频监控系统能够识别不同的物体，发现监控画面中的异 常情况，并能够以最快和最佳的方式发出警报和提供有用信息，从而能够更加 有效地协助安全人员处理危机，并最大限度降低误报和漏报现象。在世界反恐 斗争日趋严峻的今天，智能视频监控显然能够成为应对恐怖主义袭击和处理突发事件的有力辅助工具，特别是在911恐怖袭击、马德里爆炸案以及伦敦爆炸 案发生之后，市场上对于此类应用的需求不断增长。此类应用主要包括高级视频移动侦测(Advanced VMD)、人体运动追踪(Human Motion Tracking)、人 物面部识别(Face Recognition)、和检测非法入侵者(Intrusion Detection)等。 在美国，国防部高级研究项目署(Defense advanced research projects agency, DAPRA)设立了以CMU为首，MIT等高校参与的视觉监控项目VSAM (Visual surveillance and monitoring)，该系统能够用于普通民用场景以及战场的实时监 控；Maryland大学的实时监控系统W4能够对进出民宅、停车场、银行等场合 的携带物品的可疑人员进行有效的实时监控。在我国，智能视频监控技术也开 始逐渐受到重视，如重庆铁路警方采用监控摄像机采集排队购票者的监控图像， 通过"人像识别系统"进行分析识别，发现反复出现的面孔就报警以打击"黄 牛党"；北京市警方通过监控录像及模糊人脸复原技术一举破获以投毒相威胁从 而进行勒索的超市投毒案。然而，当前存在的智能监控技术均只局限于某一特 定问题域，如检测、跟踪或人脸识别，没有将多种功能集成在一起形成完整的 智能监控问题解决方案。根据目前的研究表明，智能视频监控不仅应包含在线的运动物体检测与提 取、行为分析与理解、事件检测和离线的身份识别、视频存储、视频切分与摘 要生成、基于内容的检索、视频压縮与传输等功能；也涉及到计算机视觉、模 式识别、人工智能、数据库、计算机网络等多个研究领域，是一个多学科交叉 研究课题。然而开发面向各个应用领域、功能全面的智能视频监控系统是非常 困难的问题，因此当前已存在的智能视频监控系统基本上均局限于某些特定应 用，如1997年美国国防高级研究项目署(Defense Advanced Research Projects Agency)设立了以卡内基梅隆大学(Carnegie Mellon University)为首、麻省理 工学院(Massachusetts Institute of Technology)等高校参与的视觉监控重大项目 VSAM (Visual Surveillance and Monitoring),主要研究战场及普通场景中对人体 和车辆进行监控的技术；实时视觉监控系统W4能够定位人和分割出人的身体 部分，而且通过建立外观模型来实现对人的跟踪，并判断人是否携带物体；英 国的雷丁大学(University of Reading)开展了对车辆和行人的跟踪及识别的相关 研究；IBM与Microsoft等公司也正逐步将基于视觉的手势识别接口应用于商业 领域中。针对公共安全事件的视频监控具有重大市场应用前景，而视频监控内容由 原先的人为解释转变为智能实时解释是视频监控技术的飞跃，是安防技术发展的必然，同时智能视频监控也面临亟待突破的技术难点。在这样一个背景下，研究针对公共安全事件的智能视频监控具有重要社会意义和应用前景。
技术实现思路
本专利技术的目的是克服现有技术的不足，提供一种基于自然视频的实时智能 监控方法。包括如下步骤1) 载入视频帧序列，提取需学习的视频帧序列片段，进行处理得到反映人 物运动过程的运动历史图像；2) 在步骤1)得到运动历史图像的基础上，运用自定义的特征向量提取方 法，得到特定运动序列的向量表示，通过自定义的学习机制，将学习得到的动 作样本数据存储于样本数据库；3) 对需监控的视频帧序列，通过将其运动历史图像与样本数据在低维空间 进行映射，并通过最优化方法得到需监控的视频序列中人物运动识别和分类， 同时对危险行为进行警示。所述载入视频帧序列，提取需学习的视频帧序列片段，进行处理得到反映 人物运动过程的运动历史图像步骤(a) 载入经过视频帧序列对应的灰度图像，进行前景提取和二值化过程，得 到所监控人物运动的二值侧影帧序列，对指定的某段需学习的动作序列，以指 定帧长度的二值侧影帧序列构造运动历史图像；(b) 对指定长度的二值侧影帧序列，按照每帧在侧影序列中的时间戳顺序， 定义该帧对应侧影所描述动作姿势相对于这个序列的新鲜程度，公式如下其中^^ 表示在帧序列中相对索引顺序为^的帧所对应的新鲜程度，S^V^表示指定的帧长度；(c)对指定长度的侧影序列，按照各帧对应的新鲜程度，在一幅图像中生成这个帧序列对应的运动历史图像，公式如下<formula>formula see original document page 7</formula>其中^>^ 表示在帧序列中相对索引顺序为/的帧所对应的新鲜程度，/"，力表示运动历史图像中二维坐标x^本文档来自技高网...

【技术保护点】
一种基于自然视频的实时智能监控方法，其特征在于包括如下几个步骤：１）载入视频帧序列，提取需学习的视频帧序列片段，进行处理得到反映人物运动过程的运动历史图像；２）在步骤１）得到运动历史图像的基础上，运用自定义的特征向量提取方法，得到特定运动序列的向量表示，通过自定义的学习机制，将学习得到的动作样本数据存储于样本数据库；３）对需监控的视频帧序列，通过将其运动历史图像与样本数据在低维空间进行映射，并通过最优化方法得到需监控的视频序列中人物运动识别和分类，同时对危险行为进行警示。

【技术特征摘要】

【专利技术属性】
技术研发人员：庄越挺，梁璋，肖俊，吴飞，张剑，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]