大数据侦查应用系统技术方案

本发明专利技术公开了大数据侦查应用系统，包括数据资源、网络互通、数据仓库、ESB以及前端应用五层架构与客户端组成，所述数据资源包括政务网、互联网以及公安网三者资源整合，利用民警PKI查询权限，在DotnetSpider框架下建立查询任务，获取公安内网的各平台的查询结果；所述网络互通，建立基于Sql Job的JAVA的数据同步程序与定时任务，将本地的医院、政务服务平台的社会数据与互联网数据通过数据边界设备同步到公安内网数据库；本发明专利技术本实现了公安网资源、社会资源、互联网资源三大类数据的有机整合应用，打破了公安网数据壁垒问题，深入挖掘和整合各类公安网数据资源；建立了社会数据资源库，将各类社会数据资源和民警日常工作积累的数据进行有效整合。

【技术实现步骤摘要】
大数据侦查应用系统
本专利技术涉及网络科学
，具体为大数据侦查应用系统。
技术介绍
当前，各级公安机关正在实施公安大数据战略，强力推进数据警务建设，但在大数据资源服务侦查实战方面还存在着一些普遍性瓶颈问题，一是公安内网系统平台繁多，公安部、省厅、市局、县局和四个层面的系统平台近200个，查询需逐个登陆，容易漏查掉项，各系统平台查询出数据信息需人工比对研判，智能化低。二是大量社会数据和民警日常积累的工作类数据没有统一的数据存储库和分析应用平台，处于孤立沉睡状态，应用效率低。三是内外网数据分离，互联网数据与公安网数据割裂，形不成科学高效的整合应用合力。
技术实现思路
本专利技术的目的在于提供大数据侦查应用系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：大数据侦查应用系统，包括数据资源、网络互通、数据仓库、ESB以及前端应用五层架构与客户端组成；所述数据资源包括政务网、互联网以及公安网三者资源整合，利用民警PKI查询权限，在DotnetSpider框架下建立查询任务，获取公安内网的各平台的查询结果；所述网络互通，建立基于SqlJob的JAVA的数据同步程序与定时任务，将本地的医院、政务服务平台等部门的社会数据与互联网数据通过数据边界设备同步到公安内网数据库中；所述数据仓库，综合利用社会数据、互联网数据、内网数据进行清洗、转换、标准化、标签以及质量控制，整理后以一个有机的、整体的、全景式的信息建立数据仓库；所述ESB，平台使用MuleESB支持集成现有系统如JMS、WebServices、JDBC、HTTP以及其他技术；所述前端应用，在Mule提供的接口基础上开发智能搜索模块、数据上传模块、同要素分析模块、协作联盟模块、后台管理模块、超级链接模块、资源整合以及社区讨论模块；所述客户端包括实名注册与登录模块。优选的，数据清洗ETL是数据抽取、清洗、转换、装载的过程，采用开源的ETL工具kettle，从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中。优选的，数据标签化，综合数据的管理需求和数据的应用需求，建立一个多坐标系空间的标签体系对数据进行描述，每一个坐标系之间的标签没有必然的联系，它们之间的关系是弱耦合、相对独立，通过数据所在的空间位置，获得这个数据对应的标签“值”，也就是这个数据所具有的标签项，目前划分标签空间的坐标系有：数据固有属性、数据分类属性、数据应用属性、数据控制属性四个维度。优选的，所述智能搜索模块包括人员核查、人员档案以及导出打印，其中根据结果进行二次查询或者点击结果中的任一条记录进入人员档案通过导出打印根据固定PDF格式进行信息打印。优选的，所述人员档案包括人员的基本资料(户籍、生物特征、历史照片信息等)、关系信息(同户、邻居等)、轨迹信息(住宿、网吧、飞机、火车等)、互联网信息(手机号码、微信、QQ、微博等)、社会信息(医院、交通、银行等)。优选的，所述数据上传模块包括社会信息与链接上传，社会信息支持word、txt、CSV、excel等多种格式的数据文件，系统自动匹配文件格式，上传后，系统自动识别数据格式进行预览，点击确认，上传到后端数据库，对需要超链接系统进行描述、上传，并在超级链接模块点击图标直接进入该系统。优选的，所述同要素分析模块以同要素内在关联关系挖掘分析为目标，基于掌握的嫌疑人的身份证号、手机号码、车牌号码等身份信息资源进行关联查询检索，并提供批量比对功能，能够根据数据库中的同户、同住、同行、同乘等关系信息进行碰撞比对，实现两个或多个号码之间的关联关系分析。优选的，所述超级链接，以超级链接的形式登录到其他平台，单点登录到内网的其他平台中，方便用户登录一个平台就可以链接到其他平台进行使用。优选的，所述协作联盟模块发布多警种、多部门、多区域之间的任务协查，建立协作联盟，实现情报线索的内部流转，所述社区讨论模块提供社区论坛功能，实现内部的技术交流与对平台的意见和建议。优选的，所述后台管理模块实现账户管理、日志管理、权限管理。与现有技术相比，本专利技术的有益效果是：该系统平台采用开源的C#采集SaaS平台，利用Fiddler工具，实现多平台、多线程一站式获取公安内网各系统多种数据源的查询结果，通过ETL工具Kettle利用CDC的方式对查询结果进行自动清洗，并将高质量的数据保存到MongoDB数据库中，本平台实现了公安网资源、社会资源、互联网资源三大类数据的有机整合应用，打破了公安网数据壁垒问题，深入挖掘和整合各类公安网数据资源；建立了社会数据资源库，将各类社会数据资源和民警日常工作积累的数据进行有效整合，提高了导入上传效率，发挥了数据效能，打通了互联网数据进入公安网通道，建立了互联网大数据采集存储中心，通过数据边界实时获取互联网信息资源，提高了互联网数据资源的挖掘应用水平，本平台切实增强了办案民警的研判分析能力，有效增强了办案民警研判分析效率，全面提升了公安局大数据服务侦查实战的能力和水平。附图说明图1为本专利技术的整体系统框图；图2为本专利技术的前端应用架构模块框图；具体实施方式下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1至图2，本专利技术提供一种技术方案：大数据侦查应用系统，包括数据资源、网络互通、数据仓库、ESB以及前端应用五层架构与客户端组成；所述数据资源包括政务网、互联网以及公安网三者资源整合，利用民警PKI查询权限，在DotnetSpider框架下建立查询任务，获取公安内网的各平台的查询结果；所述网络互通，建立基于SqlJob的JAVA的数据同步程序与定时任务，将本地的医院、政务服务平台等部门的社会数据与互联网数据通过数据边界设备同步到公安内网数据库中；所述数据仓库，综合利用社会数据、互联网数据、内网数据进行清洗、转换、标准化、标签以及质量控制，整理后以一个有机的、整体的、全景式的信息建立数据仓库，数据清洗ETL是数据抽取、清洗、转换、装载的过程，采用开源的ETL工具kettle，从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中；数据标签化，综合数据的管理需求和数据的应用需求，建立一个多坐标系空间的标签体系对数据进行描述，每一个坐标系之间的标签没有必然的联系，它们之间的关系是弱耦合、相对独立，通过数据所在的空间位置，获得这个数据对应的标签“值”，也就是这个数据所具有的标签项，目前划分标签空间的坐标系有：数据固有属性、数据分类属性、数据应用属性、数据控制属性四个维度；所述ESB，平台使用MuleESB支持集成现有系统如JMS、WebServices、JDBC、HTTP以及其他技术；所述前端应用，在Mu本文档来自技高网...

【技术保护点】
1.大数据侦查应用系统，其特征在于：包括数据资源、网络互通、数据仓库、ESB以及前端应用五层架构与客户端组成；/n所述数据资源包括政务网、互联网以及公安网三者资源整合，利用民警PKI查询权限，在DotnetSpider框架下建立查询任务，获取公安内网的各平台的查询结果；/n所述网络互通，建立基于Sql Job的JAVA的数据同步程序与定时任务，将本地的医院、政务服务平台等部门的社会数据与互联网数据通过数据边界设备同步到公安内网数据库中；/n所述数据仓库，综合利用社会数据、互联网数据、内网数据进行清洗、转换、标准化、标签以及质量控制，整理后以一个有机的、整体的、全景式的信息建立数据仓库；/n所述ESB，平台使用MuleESB支持集成现有系统如JMS、WebServices、JDBC、HTTP以及其他技术；/n所述前端应用，在Mule提供的接口基础上开发智能搜索模块、数据上传模块、同要素分析模块、协作联盟模块、后台管理模块、超级链接模块、资源整合以及社区讨论模块；/n所述客户端包括实名注册与登录模块。/n

【技术特征摘要】
1.大数据侦查应用系统，其特征在于：包括数据资源、网络互通、数据仓库、ESB以及前端应用五层架构与客户端组成；
所述数据资源包括政务网、互联网以及公安网三者资源整合，利用民警PKI查询权限，在DotnetSpider框架下建立查询任务，获取公安内网的各平台的查询结果；
所述网络互通，建立基于SqlJob的JAVA的数据同步程序与定时任务，将本地的医院、政务服务平台等部门的社会数据与互联网数据通过数据边界设备同步到公安内网数据库中；
所述数据仓库，综合利用社会数据、互联网数据、内网数据进行清洗、转换、标准化、标签以及质量控制，整理后以一个有机的、整体的、全景式的信息建立数据仓库；
所述ESB，平台使用MuleESB支持集成现有系统如JMS、WebServices、JDBC、HTTP以及其他技术；
所述前端应用，在Mule提供的接口基础上开发智能搜索模块、数据上传模块、同要素分析模块、协作联盟模块、后台管理模块、超级链接模块、资源整合以及社区讨论模块；
所述客户端包括实名注册与登录模块。


2.根据权利要求1所述的大数据侦查应用系统，其特征在于：数据清洗ETL是数据抽取、清洗、转换、装载的过程，采用开源的ETL工具kettle，从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中。


3.根据权利要求1所述的大数据侦查应用系统，其特征在于：数据标签化，综合数据的管理需求和数据的应用需求，建立一个多坐标系空间的标签体系对数据进行描述，每一个坐标系之间的标签没有必然的联系，它们之间的关系是弱耦合、相对独立，通过数据所在的空间位置，获得这个数据对应的标签“值”，也就是这个数据所具有的标签项，目前划分标签空间的坐标系有：数据固有属性、数据分类属性、数据应用属性、数据控制属性四个维度。


4.根据权利要求1所述的大数据侦查应用系统，其特征在于：所述智能...

【专利技术属性】
技术研发人员：宋长海，马常亮，
申请(专利权)人：宋长海，马常亮，
类型：发明
国别省市：北京;11