一种用于案件串并的现勘视觉信息关联图层生成方法技术

本发明专利技术公开了一种用于案件串并的现勘视觉信息关联图层的生成方法，解决现有现勘图像特征提取方法由于采用封闭式或模板式的特征导致细节和异常信息丢失和淹没的缺陷。实现步骤为：利用区域生成网络提取现勘图像（或视频关键帧）的小目标块；设计现勘视觉信息树，包括图像层和衍生层，衍生层具有放大细节的功能，将现勘视觉信息树训练为卷积神经网络分类器，利用分类器将小目标块表征为现勘元素矩阵；通过计算元素矩阵的相似度，生成关联图层；利用阈值的方法，筛选与当前案件关联的案件，以此方式展开生成新的关联图层。关联图层能够全面、完整描述案件关系，能够发散式、立体式的关联更多信息，从而提高了智能串并案方法在线索挖掘方面的能力。

A method of generating visual information association layer for case sequence

The invention discloses a method for generating visual information correlation layer for case series merging, and solves the defect that the existing image feature extraction method causes the details and abnormal information loss and submergence due to the closed or template characteristics. The method comprises the following steps: extracting the geological image using region spanning network (or video key frame) small target block design; the current survey of visual information tree, including image layer and derivative derivative layer, layer has details of function, will present the exploration of visual information tree training for convolutional neural network classifier, the classifier will be small the target block is characterized by geological elements matrix; similarity matrix elements, the generation of the association layer; using threshold method, screening associated with the current case, in order to start a new generation of the association layer. The related layer can comprehensively and completely describe the case relationship, and it can connect more information with divergence and stereoscopic information, thus improving the ability of intelligent string and case method online mining.

【技术实现步骤摘要】
一种用于案件串并的现勘视觉信息关联图层生成方法
本专利技术属于图像处理和机器学习
，涉及一种用于案件串并的现勘视觉信息关联图层生成方法，可用于海量案件的信息关联，实现案件的串并。
技术介绍
随着现在交通和信息传播的高速发展，技术型团伙作案有向深层方向发展趋势。串并案的实现有利于加强跨地区的刑侦合作，共享犯罪信息资源以及主动出击，预防犯罪。在许多系列案件中,作案时间、作案地点、作案手段、侵害目标等都具有相对的稳定性和规律性,尤其指纹、足迹、工痕等现勘数据具有高度的一致性和相关性，而且现场勘验的时效性和精确度的要求非常高，所以基于现勘数据的智能串并案是高速破案的关键，也是趋势所在。串案和并案(简称串并案)是侦破系列案件非常有效的方法。所谓系列案件的串并是指把不同地域或不同时间发生的多起案件，通过对案件中发现的各种痕迹、线索进行分析，认为这些案件可能为同一犯罪主体所为，因而把这些案件进行合并侦查的办案手段。系列案件的串并可以把看似无关联的线索、物证进行综合分析，找出足够的证据锁定犯罪嫌疑人。串并案件有利于从多方面获取犯罪证据，并及时掌握犯罪分子的全部罪行。对串并案而言，一般是根据已发案件的某些特征，到案件数据中进行检索，找到相关联的案件，将其串并在一起从而获得更多的线索。随着成像设备的普及和图像处理和模式识别技术的发展，利用各种自动化分析技术逐渐成为刑侦破案的一种重要手段。基于现勘图像的信息化破案技术也越来越受到办案人员的重视，现勘图像所携带的二维的犯罪现场信息提供了丰富、真实、完整的破案线索，它在信息化破案中具有潜在优势。如果能将这些信息智能串并在一起，有望可以实现以下数据分析任务：发掘人眼未能识别的线索，自动检测异常事件的发生，以及在大数据库中关联相关信息，这些不仅是对破案非常的有用，而且是基层办案人员在短时间内无法人工完成的。现实案件侦破过程中，案件的串并主要依靠物证检验技术人员对痕迹物证进行甄别和挖掘串并条件，依据串并条件认定为同一犯罪主体就可以进行串并案。在模式识别研究领域中，系列案件的智能串并分析其实是信息的分类和检索问题，串并条件的确定对应特征提取问题，这两个都是的模式识别里的经典问题。传统的方法分成两个步骤来实现：(a)特征提取；(b)分类器的构造。但是，实际的案件侦破工作不同于以往传统的模式识别研究的问题，线索是破案的根本，找到串并条件是实现串并破案的核心。由于线索的未知性、稀缺性不稳定性等特点，串并条件又不同于特征提取。可见，智能串并案分析问题可以借鉴经典的模式识别的方法，但是又具有新的挑战。智能串并案分析目前存在主要问题列举如下：目前的智能串并案分析研究基本上是利用现有的案件关键词。韩等人利用FCM的聚类算法可以实现自动串并案分析模型，从而实现系列案件的自动聚类，参见参考文献“韩宁,陈巍.基于聚类分析的串并案研究.中国人民公安大学学报(自然科学版)，2012，1(1)：53-58”。采用聚类操作以后，将数据库中的案件按照一定的判断标准分成若干类。因为韩等人采用的是本文特征词的文本分析方法，而特征词来自办案人员的主观录入的简要案情。类似的方法还有郑等人2017年提出的专利技术专利“一种串并识别方法”，张等人2016年提出的专利技术专利“一种案件关键字符串串并的检测方法”。这些关键词本身就是人对当前案件在短时间内的理解，而且这些关键词通常是一些格式化的语义描述，即便是办案人员对犯罪现场有了一定深度的了解，而在办案人员的对案情进行录入的时候，又会对一些信息进行过滤，格式化的特征词还不能完全反映人对场景、细节等信息的理解。目前的基于图像内容的智能串并案研究是基于图像全局特征的。例如，刘等人于2010年获得的专利技术专利“一种信息是案件的串并案智能分析方法”对图像提取多维特征提取，用一个一维特征向量描述一幅图像，类似的方法如2016年袁等人提出的专利技术专利“移动式视频侦查方法”同样是提取一幅图像中的运动目标，对其进行表征。刑侦案件中采集的图像和视频往往具有以下三个特点：(a)多目标；(b)背景复杂；(c)最有价值破案线索往往是局部异常信息。在数据录入阶段，现有的技术需要录入现场勘验采集到的图像信息，视频信息，时间信息等犯罪现场信息，在后期分析阶段，需要对这些生数据进行加工，特征提取，进行编码以及填写标签等操作。而现有的分析系统大多是依赖这些加工后的辅助信息才能完成信息的检索，极少数的方法是基于图像内容对现勘数据实现分类以及自动识别等功能。也就是说多数基于现勘图像的自动分析技术往往是基于宏观特征的，例如，现在数据库中检索一把匕首，检索的结果是将数据库中的所有匕首都检索出来，这样的关联结果对于数据的管理具有非常重要的意义，但是对于挖掘新线索是没有意义的，现勘图像中最有价值破案线索往往是局部异常信息，例如这把匕首的特殊形状或者残缺、指纹图像的脊线以及交通工具的碰撞痕迹等细节信息。基于固定的模板和格式的特征无法表征案件的异常信息。例如，2016年王等人提出专利技术专利“在案件串并和嫌疑人排查中的数据挖掘方法”采用了固定的标签模板，2014年向等人提出的专利技术专利“一种案件特征串并的分析方法”采用了串并项打分模板，王等人2016年公开的专利技术专利“一种串并案分类方法及串并案分类系统”采用6维特征信息描述当前案件。然而，在刑侦破案过程中，最有价值破案线索往往是局部异常信息，这些异常信息无法用模板进行表达。每一个案件的情况千差万别，所需要检测的对象也形形色色，在录入模板信息时一定会加入人主观的理解。而且在真实场景中的异常检测，容易受环境因素的影响。被检测的目标通常处于变化无常的背景中。在所有影响异常检测结果的因素中，最主要的三个因素是拍摄的角度和尺度的变化，光照的变化和被检测对象的平移和旋转等变化。这些因素都能影响异常的判定，导致将正常状态误判为异常。综上所述，现有的案件的智能串并方法没有考虑实际案件中采集的现勘图像的多目标性，以及忽略了细节信息在案件串并中的作用，从而限制了图像处理及机器学习的方法在刑侦破案方面的应用。因此，如何有效的表征现勘视觉信息的局部信息，以及如何更为有效度量少量细节信息的关联程度，成为实现高效、准确的串并案件的关键问题。
技术实现思路
为了克服上述现有技术的不足，本专利技术的目的是提供一种用于案件串并的现勘视觉信息关联图层生成方法，考虑到真实案件的信息的繁多，复杂和无边界性，以及很难用模板、标签表示的特点，从真实的现勘视觉信息中自动构建无边界，多层的现勘元素库来表征案件，利用基于学习的方法度量多个案件的元素库之间的相似度，从而估计与新案件的关联程度，生成现勘信息关联图层，实现发散式、立体多角度的关联更多信息，达到串并案件的目的，由于区域生成网络的目标识别方法能够有效检测出图像当中的细节和小目标信息，因此串并条件不再是整幅图像，宏观信息，固定长度的特征向量，或者人工标签等，而是由细节和小目标信息构成的多层现勘元素矩阵，因此可以将现勘元素矩阵作为无边界的串并条件；由于作为串并条件的细节和局部信息的拍摄条件、模态、光照和角度等都不同，因此可以利用基于卷积神经网络的图像块的相似度学习方法来度量现勘元素的关联程度。为了实现上述目的，本专利技术采用的技术方案是：一种用于案件串并的现勘视觉信息关联图层生成方法，包括本文档来自技高网...

【技术保护点】
一种用于案件串并的现勘视觉信息关联图层生成方法，包括如下步骤：1)构建现勘视觉信息小目标库。输入案件现勘视觉信息库，对其中的现勘图像和监控视频按照案件编号分类，i表示案件的索引号，案件x表示当前待检索案件，提取每个案件中的样本的小目标块，构建以往案件i的小目标库

【技术特征摘要】
1.一种用于案件串并的现勘视觉信息关联图层生成方法，包括如下步骤：1)构建现勘视觉信息小目标库。输入案件现勘视觉信息库，对其中的现勘图像和监控视频按照案件编号分类，i表示案件的索引号，案件x表示当前待检索案件，提取每个案件中的样本的小目标块，构建以往案件i的小目标库以及案件x小目标库其中Mi和Mx为分别由案件i和案件x生成的小目标的个数；2)生成现勘元素矩阵。设计现勘视觉信息树，任意小目标库包括图像信息层和衍生信息层，衍生信息层包括时空信息层、目标信息层、运动关系层、属性信息层以及细节信息层，依据现勘视觉信息树生成现勘元素矩阵，任意案件i和案件x的现勘元素矩阵分别表示为和3)计算现勘元素矩阵和的相似度，量化来自两个不同案件的小目标块和的关联程度；4)生成案件x与以往案件库中的案件i的相关图层Mapxi。案件x表示为现勘元素矩阵的集合同理，案件库中的任意案件i案件也表示为将和按照(3)的方法，得到两个现勘元素矩阵的相似度，用Score表示，将Score赋值给案件x与案件i的相关图层的Mapxi(n,m)，最终得到的Mapxi的大小为Mx×Mi；5)利用关联图层实现案件的串并；5a)在关联图层Mapxi上，采用阈值平面的方法确定第i个案件是否与案件x关联，其中i表示案件的索引号，即：通过调整Threshold的大小控制筛选点[i*]的个数，可以限制串并案件的数量和范围；5b)如果确定案件i与案件案件x关联，计算案件i与已有案件库中的案件j的相关图层Mapij，查看是否存在阈值平面以上的点，如果存在，保存当前案件j；5c)以此方式扩展，即可以生成由案件x中的单一线索关联到多个案件的多条线索，以当前案件x为出发点，首先生成案件x与已有案件库中的案件i的相关图层Mapxi，然后生成案件i与已有案件库中的案件j的相关图层Mapij，依次生成案件j与已有案件库中的案件k的相关图层Mapjk，等等，最终获得案件x的关联图层{Mapxi,Mapij,Mapjk,…}。2.根据权利要求1所述的用于案件串并的现勘视觉信息关联图层生成方法，其中步骤1所述的现勘视觉信息小目标库的构建方法，按如下步骤进行：2a)构建当前案件的现勘样本集，当前案件记为案件x，首先定义以下数据结构：<案件>{二维/三维视觉信息；拍摄时间；拍摄地点；}2b)对案件x中所有的视觉信息样本按时间顺序编号{sindex}，其中index＝1,2,…,Nx，表示案件x采集的现勘视觉信息的序号，Nx表示案件x采集的视觉信息的个数，对案件x的样本集{sindex}中的每一个样本sindex的视觉信息块进行预处理，包括现勘图像样本集构建，图像质量优化。读取现勘样本，得到样本sindex的视觉信息块的空间矩阵维度[R,L,T]，对视频和图像样本分类别进行处理，T＞1为视频序列，T＝1，为图像；2c)图像样本集构建。利用变化检测的方法对视频序列进行分段，输入视频序列，利用滑窗的方法得到变化曲线C(t)，选取阈值H，[t*]＝arg(C(t)＞H)，向量[t*]的长度即为视频序列变化的次数n*，向量[t*]的数值即为视频发生重大变化的时刻，从而实现将视频分割为n*段子序列[f1*,f2*,…,fn**]，对应的序列长度为[t1*,t2*,…,tn**]，从子序列的第一帧开始均匀的选取5帧图像，即在子序列中，选取以下帧构成现勘视频序列图像样本集：然后将得到的视频关键帧和直接采集的图像集合并，并更新编号，构成新的案件x的现勘图像集合{sindex}，其中index＝1,2,…,Nx，表示案件x的现勘图像的序号，Nx更新为案件x对应的现勘图像集中二维图像的个数；2d)现勘图像质量优化。不同模态的图像采用的不同的图像处理方式，需对现勘图像数据库进行初分类，采用VGG16网络的卷积神经网络的分类器，将现勘数据库分为自然光图像、红外图像和X光安检图像，输入现勘图像样本集，对每一幅图像进行预处理，对于自然光现勘图像的预处理过程分为三个步骤：(1)利用直方图均衡化对低照度图像亮度拉伸；(2)清晰化处理；(3)细节信息锐化。对X光安检图像，利用...

【专利技术属性】
技术研发人员：王倩，刘颖，侯祥玮，王伊琳，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：陕西,61