一种群智感知大数据公共安全识别方法及系统技术方案

本发明专利技术公开了一种群智感知大数据公共安全识别方法及系统，本发明专利技术分为样本训练和识别两个环节。经前期对不同模态的异常数据采样后，根据声音、视频、图像、文本形式将样本分类并设置关联标记；采用对应的训练算法建立特征集，恢复样本之间的关联，建立异常检测模型。实际应用阶段，通过爬虫程序或者用户主动上传的方式获取异构检测数据源，关联分类后与检测模型进行特征匹配，若匹配决策为异常，则将相关联的数据显示出来，并提示安全异常。本发明专利技术运用大数据群智感知和多媒体深度学习的思想追踪和识别特定暴恐目标，形成一套全方位、多模态社会公共安全搜索和识别系统，弥补传统专用安防平台检测盲点和有效影音不足的现状。

【技术实现步骤摘要】

本专利技术属于公共安全识别
，涉及一种将多模态数据训练与识别的方法及 系统，特别是对涉及一种公共安全的数据进行归类识别并建立数据关联的方法及系统。
技术介绍
群智感知（CrowdSensing)主要来源于众包（Crowdsourcing)的思想，所以又称 之为"众包感知"（CrowdsourcedSensing)。众包是《连线》（Wired)杂志在2006年专利技术的 一个专业术语，用来描述一种新的分布式问题解决和工作模式，即企业利用互联网来将工 作分配出去、发现创意或解决技术问题。近年来，人们将众包的思想与移动感知相结合，将 普通用户的移动设备（手机、平板电脑等）作为基本感知单元，通过移动互联网进行有意识 或无意识的协作，形成群智感知网络，实现感知任务分发与感知数据收集，完成大规模的、 复杂的社会感知任务。 通过群智感知方法从移动终端，例如腾讯qq、微信、Facebook等各类社交网络平 台的数据，包括各种图片、音频、视频和文本，具有多模态、多关联的特征。虽能用于安全检 测，然而需要对多模态数据采用信息融合的方法并建立关联才能使用。 基于内容的图像检索技术（content-basedimageretrieval)区别于传统的基于 文本的图像检索技术（text-basedimageretrieval)中对图像进行人工标注的做法，基于 内容的检索技术自动提取每幅图像的视觉内容特征作为其索引，如色彩、纹理、形状等。图 像中的人脸是图像内容的一个重要部分，往往可以作为检索图像的一个重要的线索，而且 人脸作为一个整体，在图像中往往比较容易被检测定位出来。 异常声音检索是多媒体检索中的一个重要组成部分。音频相对于视频而言，具有 复杂度小、成本低、高性能且能够充分保护隐私等诸多优点。目前基于内容的音频检索方法 应用较为广泛，如利用语音识别技术进行音频检索。近二十年来，语音识别技术已经取得了 显著进步。语音识别技术主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。 在语音识别技术中，通常采用LPC、LPCC、MFCC作为特征参数，SVM、HMM、GMM作为分类器。 目前的普遍的方法仅针对不同的类型进行检测与识别，存在单模态、功能独立的 问题，缺乏一种完善的公共安全识别的方法来实现暴恐检测。公安部门对于收集到的海量 数据往往会进行视频检索、图像检索等以获取相关信息。但是，由于视频数据涉及到的冗余 信息较多，检索耗时较长，不能很好地达到暴恐检测、城市安防的效果。
技术实现思路
针对上述问题，本专利技术综合多种识别技术，建立数据关联，提出了一种大数据公共 安全识别方法及系统。 本专利技术的方法所采用的技术方案是：一种群智感知大数据公共安全识别方法，其 特征在于，包括以下步骤： 步骤1:人工搜集安全异常样本，所述的安全异常样本包括实例图片、视频片段、 异常声音、敏感文本信息，根据来源位置及时间建立不同安全异常样本之间的关联；所述 的异常声音包括枪击声、爆炸声、撞击声、尖叫声，所述的敏感文本包括敏感词汇库中的词 汇； 步骤2 :根据不同信息类别采用不同方法进行安全异常样本训练，建立安全异常 丰旲型； (1)若安全异常样本为实例图片，首先进行预处理，进行尺寸变换，基于BoW模型， 采用SIFT算法生成图片的特征向量，采用K-means算法进行聚类，完成图片样本的训练； (2)若安全异常样本为视频片段，首先将视频分帧，后续采用与实例图片相同的训 练方法完成各帧的训练； (3)若安全异常样本为异常声音，首先对音频进行分割，采用MFCC算法提取39维 音频特征向量，最后使用GMM模型对音频归类； (4)若安全异常样本为文本，直接通过LCA算法检测敏感词，建立敏感词库； 步骤3:建立安全异常模型后，通过群智感知方法从移动终端后台抓取或者用户 主动上传的方法获取多模态数据； 步骤4:将获取到的多模态数据进行分类并根据来源位置与时间特征进行关联， 贴上识别标签； 步骤5 :根据数据类型的不同自动采用对应的特征识别、匹配的方法；其中实例图 片采用K-means算法进行聚类，异常声音采用GMM模型分类匹配，文本通过LCA算法检测敏 感词； 步骤6:当有新的数据传入时，重复上述步骤3~步骤5,利用卷积分解神经网络方 法进行深度学习，进一步完善安全异常模型； 步骤7 :决策获取的数据与安全异常样本的匹配结果，若出现偏差系统发出警告， 人们对有差错的地方进行改正，不断改进安全异常模型； 步骤8:若识别出安全异常，报警并提示其相关联的其他模态数据以进行异常追 足示。 作为优选，步骤4中所述的将获取到的多模态数据进行分类并根据来源位置与时 间特征进行关联，其具体关联关系为：其具体关联关系为：用户信息、视频信息与图像信息 之间关联，用户信息、音频信息与文本信息之间关联，用户信息、音频信息与图像之间关联； 所述的用户信息包括姓名、手机号、MAC地址、IP地址、数据编号、数据类型；所述的视频信 息包括存储位置、状态、标记号、异常帧数；所述的图像包括存储位置、状态、标记号、异常位 置；所述的文本信息包括存储位置、状态、标记号、异常字符串。 本专利技术的系统所采用的技术方案是：一种群智感知大数据公共安全识别系统，其 特征在于：包括应用层、服务层、数据处理层和群智感知层；所述的应用层包括暴恐防测模 块、疑犯追踪模块、大众安防模块、城市监控模块；所述的服务层包括数据存储模块、数据管 理模块、数据转发模块；所述的数据处理层包括数据部分加密模块、多模态数据融合模块； 所述的群智感知层包括网络爬虫模块、上传模块、监控信息获取模块； 所述的群智感知层负责通过抓取各种渠道获取的数据资源，所述的各种渠道包括 网络社交平台公开数据、城市监控、用户上传，所述的数据资源包括图片、音频、视频、位置 信息以及其他描述信息； 所述的数据处理层首先对群智感知层所获取的数据进行部分加密，保护涉及用户 隐私范畴的数据，随后对加密后的数据进行多模态数据融合，主要服务于两大核心功能： (1)以图搜图；结合文本信息，检索出图片数据库中，所有出现了用户所上传的疑 犯人相的图片；所述的文本信息包括位置、时间、描述； (2)视频分类；主要基于音频，结合视频的文本信息，遴选出含有犯罪、暴恐特征 的片段，将对应视频归类整理； 所述的服务层主要用于接收应用层请求，并向数据处理层发出请求，实现数据传 输； 所述的应用层主要用于客户端，完成暴恐监测、疑犯追踪、大众安防、城市监控任 务。 本专利技术先从视频中提取音频，进行音频检索，从中搜索在公共场合下与暴恐等情 景相关的异常声音，如：枪击声、爆炸声、撞击声、尖叫声等，若出现异常则定位异常位置，再 对视频片段进行关键位置识别。同时，在识别音频时若有文字语音信息，则将语音转换为文 字，对文字进行敏感词匹配。综合上述方法，实现安全检测。 本专利技术的有益效果是：运用大数据群智感知和多媒体深度学习的思想追踪和识别 特定暴恐目标，形成一套全方位、多模态社会公共安全搜索和识别系统，弥补传统专用安防 平台检测盲点和有效影音不足的现状。【附图说明】 图1:本专利技术实施例的流程图； 图2:本专利技术实施例的安全异常样本训练流程图； 图3:本专利技术实施例的K-Means算法流程图本文档来自技高网...

【技术保护点】
一种群智感知大数据公共安全识别方法，其特征在于，包括以下步骤：步骤1：人工搜集安全异常样本，所述的安全异常样本包括实例图片、视频片段、异常声音、敏感文本信息，根据来源位置及时间建立不同安全异常样本之间的关联；所述的异常声音包括枪击声、爆炸声、撞击声、尖叫声，所述的敏感文本包括敏感词汇库中的词汇；步骤2：根据不同信息类别采用不同方法进行安全异常样本训练，建立安全异常模型；（1）若安全异常样本为实例图片，首先进行预处理，进行尺寸变换，基于BoW模型，采用SIFT算法生成图片的特征向量，采用K‑means算法进行聚类，完成图片样本的训练；（2）若安全异常样本为视频片段，首先将视频分帧，后续采用与实例图片相同的训练方法完成各帧的训练；（3）若安全异常样本为异常声音，首先对音频进行分割，采用MFCC算法提取39维音频特征向量，最后使用GMM模型对音频归类；（4）若安全异常样本为文本，直接通过LCA算法检测敏感词，建立敏感词库；步骤3：建立安全异常模型后，通过群智感知方法从移动终端后台抓取或者用户主动上传的方法获取多模态数据；步骤4：将获取到的多模态数据进行分类并根据来源位置与时间特征进行关联，贴上识别标签；步骤5：根据数据类型的不同自动采用对应的特征识别、匹配的方法；其中实例图片采用K‑means算法进行聚类，异常声音采用GMM模型分类匹配，文本通过LCA算法检测敏感词；步骤6：当有新的数据传入时，重复上述步骤3~步骤5，利用卷积分解神经网络方法进行深度学习，进一步完善安全异常模型；步骤7：决策获取的数据与安全异常样本的匹配结果，若出现偏差系统发出警告，人们对有差错的地方进行改正，不断改进安全异常模型；步骤8：若识别出安全异常，报警并提示其相关联的其他模态数据以进行异常追踪。...

【技术特征摘要】

【专利技术属性】
技术研发人员：叶登攀，张倬胜，卢玥锟，张浩天，吴荀，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42