一种基于草图交互的监控视频可视分析方法技术

本发明专利技术公开了一种基于草图交互的监控视频可视分析方法。本方法为：1)对监控视频进行标注，为目标案件中的设定目标添加特征属性描述信息；然后根据标注信息对视频进行关键帧提取，并建立关键帧索引；2)绘制该目标案件的关联草图；并在该关联草图的节点连接线上进行关联标注、在该关联草图的节点周围进行节点信息标注；3)识别该关联草图的结构，计算该关联草图的有向有权图；4)对该有向有权图进行关联分析，求取该关联草图中的关键路径，获得目标案件的关联紧密事件集合；5)计算目标案件的关联草图子图、关联草图子图结构与其他案件关联草图的相似度，得到与目标案件的关联草图子图的相似子图。本发明专利技术可有效描述用户意图、增强视频语义。

Visual analysis method for monitoring video based on sketch interaction

The invention discloses a method for monitoring video visual analysis based on sketch interaction. The method is as follows: 1) for video annotation, add attribute description information for goal setting in the case; then according to the annotation information for video key frame extraction, and the establishment of key frame index; 2) associated with the target sketch of the case; and in the surrounding node Association mark, sketch Association the node information annotation online connection node of the associated sketch; 3) the correlation structure recognition sketch, sketch to calculation of the association have the right on the map; 4) have to have the right image correlation analysis, calculate the critical path associated grass in the collection of related cases to obtain the target close event; 5) similarity target case Association sketch graph, graph structure and other related sketch sketch related case, similarity subgraph and target case Association sketch subgraph obtained. The invention can effectively describe the user's intention and enhance the semantic of the video.

【技术实现步骤摘要】

本专利技术属于人机交互领域，具体涉及一种基于草图交互的监控视频可视分析方法。
技术介绍
随着数字多媒体技术、网络技术的发展，视频资源数量呈海量式增长。视频作为一类重要的信息传递媒体，以其直观方便、信息内容丰富的特点越来越受到人们的重视，视频已经成为了传递信息的重要载体。视频具有非结构性、数据量大、维数高以及语义多样性等特点，使得视频信息的提取有一定的难度。海量的视频信息因缺乏智能处理机制，增加了人们的认知负担，降低了人们获取知识、掌握规律以及进行决策的效率。监控视频作为一类重要的视频资源，其不仅具有发现犯罪、预防犯罪、威慑犯罪等重要功能，而且具有锁定目标、提供线索、固定证据、辅助审讯等拓展功能，对维护社会安全有着重要作用。视频侦查工作对于监控视频中的重要信息的挖掘具有重要作用，但由于监控视频的数据量大和结构复杂等特点，视频侦查工作同样面临着巨大的挑战。监控视频具有典型的时空数据特点，能够利用时间、空间的二维属性反映案件事实，从而实现打击和防控形势犯罪的目的。除了时间与空间的二维属性，监控视频还具有典型的大数据的特点，为了真实的还原案件过程，追踪案件密切相关的信息，需要采集大量的监控视频数据。目前的视频侦查工作主要依靠侦查员浏览监控视频来发现与案件相关的线索，巨大的监控视频数据会导致案件相关信息获取实时性差、误判与漏判等问题，同时人类的工作负荷对于注意力的影响也会降低获取监控视频信息的效率(参考文献：PelletierS,SussJ,VachonF,TremblayS,AtypicalVisualDisplayforMonitoringMultipleCCTVFeeds.NewYork:ACM,2015:1145-1150)。对于现有案件侦办模式等方面的限制，监控视频的利用率还远未达到人们的预期目标，因而如何有效提取监控视频内容，缩短视频长度，分析视频内容间的关联关系，实现视频内容的挖掘匹配，提高监控视频的信息利用率和研判分析过程的效率是当前需要迫切解决的问题。手绘草图是人类一种自然而直接的思路外化和交流方式，草图能够使用简单的形状来表达人们抽象的思维意图，基于草图交互的关联草图，可以从关联草图中找出事件的核心信息及信息背后隐藏的规律。监控系统语义挖掘就是从关联草图中发现符合条件、频繁出现的子图结构，对找出事件活动规律及事件发展动态趋势提供了参考依据，目前一些监控系统语义挖掘并不能发现某些具有丰富语义结构模式，也不能为决策提供及时有用的信息。
技术实现思路
本专利技术的目的在于提供一种基于草图交互的监控视频内容可视分析方法，由于草图作为一种抽象的形象化语言，可以有效地描述用户意图、表述或增强视频语义，缩小视频底层物理特征与高层语义之间的鸿沟。本专利技术所提出的方法主要包括对监控视频的实时标注、基于监控视频信息的关联草图绘制、关联草图结构识别、白板上的案件分析回放及案件串并中的相似子图挖掘等过程。我们的目标是通过监控视频标注和草图绘制，将判案过程和案件中的人物事件关系转换成关联草图的形式进行展示，尽可能丰富地描述案件信息及判案分析过程。基于草图交互的监控视频内容分析的优势在于：记录判案过程，简洁概要的描述视频内容；实现关联草图的结构分析及案件过程的关联分析；挖掘多个案件中的相似犯罪模式，以辅助判案决策。为实现上述专利技术目的，本专利技术采用如下的技术方案：一种基于草图交互的监控视频可视分析方法，其步骤为：1)通过对监控视频进行人工圈划标注，实现对目标案件中的设定目标或嫌疑对象特征属性的描述，添加文本标注和草图标注，并根据标注时间及特征属性对视频进行关键帧提取，建立关键帧索引；2)使用1)所确定的关键帧及标注信息，根据案件发展及事件之间的关联绘制关联草图；并在关联草图的节点连接线上进行关联标注，在节点周围进行节点信息标注，其中关联标注是采用手写文字的方式来表示事件与嫌疑人之间的联系，节点信息标注是采用预置草图库中的草图符号来表示节点的重要程度；3)对所绘关联草图进行结构识别，实现关联草图的结构存储；4)根据关联标注和节点信息标注，计算该结构的连接线权值和节点值，获得关联草图的有向有权图；5)对获得的有向有权图进行关联分析，求取该关联草图中的关键路径，获得关联紧密事件集合，即由权值较大的连接线所连接的节点集合；6)利用不同案件关联草图子图节点间的相似性度量和不同案件关联草图子图结构的相似性进行判断，挖掘其他案件关联草图中的相似子图，对找出事件活动规律及事件发展动态趋势提供参考依据。进一步的，根据标注的时间和在视频图像中的标注位置进行视频帧提取；视频标注分为视频播放时的标注和视频暂停时的标注，并且标注的结构信息不仅包括文本标注和草图标注，还有标注时间和标注的持续时间以及标注人的信息。进一步的，视频暂停时的标注是对视频帧中设定的目标对象的标注；视频播放时的标注是对包含设定目标对象的一段视频进行标注，在标注时记录下标注的起始时间t1和结束时间t2,根据直方图变化提取时间段[t1,t2]内的关键帧。采用基于PFG(peergroupfiltering)的关键帧提取算法，依据相邻两帧颜色直方图的相似度提取关键帧，其中，视频帧i和视频帧j的直方图差为HDij＝Hij+Sij+Vij其中，hH,hS,hV分别为H颜色向量、S颜色向量和V颜色向量的归一化直方图，b为变换空间的颜色数。进一步的，根据对嫌疑对象的特征属性添加的文本标注和草图标注，对提取得到的关键帧建立索引，即帧图像索引。进一步的，根据帧图像和案件情况绘制关联草图，其中，关联草图的节点可以是关键帧图片也可以是描述事件或者嫌疑人信息的草图，节点代表事件或者人物，节点之间的连线代表事件发生的先后顺序或者人与事件之间的关联。进一步的，使用已定义的关系标注库或者自定义草图进行节点之间的关系标注，同时对节点之间的连接线进行重描，通过连接线的粗细和颜色用来表明不同节点之间的关系类型和关系强弱，最终生成一个有向有权图。进一步的，识别所绘关联草图的结构，对于该关联草图中的箭头连接线，设定箭头连接线末端的参照点为极坐标系的极点，定义节点与箭头连接线之间的相对位置关系，定义di为参照点与箭头连接线上第i点之间的距离，即第i点的极径，αi为参照点与箭头连接线上第i个点的连线的夹角，即第i点的极角，则参照点与箭头连接线之间相对位置的特征向量可以表示为S＝{[d1,α1],[d2,α2],...,[dn,αn]本文档来自技高网...

【技术保护点】
一种基于草图交互的监控视频可视分析方法，其步骤为：1)对监控视频进行标注，为目标案件中的设定目标添加特征属性描述信息；然后根据标注信息对视频进行关键帧提取，并建立关键帧索引；2)根据步骤1)所确定的关键帧及标注信息，以及案件发展和事件之间的关联绘制该目标案件的关联草图；并在该关联草图的节点连接线上进行关联标注、在该关联草图的节点周围进行节点信息标注；3)识别该关联草图的结构，然后根据关联标注和节点信息标注计算该结构的连接线权值和节点值，获得该关联草图的有向有权图；4)对该有向有权图进行关联分析，求取该关联草图中的关键路径，获得目标案件的关联紧密事件集合；5)计算目标案件的关联草图子图与其他案件关联草图子图节点间的相似度，以及目标案件的关联草图子图结构与其他案件关联草图子图结构的相似度，得到与目标案件的关联草图子图的相似子图。

【技术特征摘要】
1.一种基于草图交互的监控视频可视分析方法，其步骤为：1)对监控视频进行标注，为目标案件中的设定目标添加特征属性描述信息；然后根据标注信息对视频进行关键帧提取，并建立关键帧索引；2)根据步骤1)所确定的关键帧及标注信息，以及案件发展和事件之间的关联绘制该目标案件的关联草图；并在该关联草图的节点连接线上进行关联标注、在该关联草图的节点周围进行节点信息标注；3)识别该关联草图的结构，然后根据关联标注和节点信息标注计算该结构的连接线权值和节点值，获得该关联草图的有向有权图；4)对该有向有权图进行关联分析，求取该关联草图中的关键路径，获得目标案件的关联紧密事件集合；5)计算目标案件的关联草图子图与其他案件关联草图子图节点间的相似度，以及目标案件的关联草图子图结构与其他案件关联草图子图结构的相似度，得到与目标案件的关联草图子图的相似子图。2.如权利要求1所述的方法，其特征在于，所述特征属性描述信息包括文本标注和草图标注。3.如权利要求2所述的方法，其特征在于，所述特征属性描述信息还包括标注时间和标注的持续时间以及标注人的信息。4.如权利要求1或2或3所述的方...

【专利技术属性】
技术研发人员：马翠霞，郑猛，王宏安，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：北京;11