一种基于多元化数据的融合共享平台制造技术

本发明专利技术公开了一种基于多元化数据的融合共享平台，多维度采集居民信息等，初步建立以人口信息为基础的大数据服务云平台，实现各部门数据的融合、共享及应用分析，系统采用统一的技术标准和业务规范，按照分层分级模式部署运行，各层次之间基于融合与共享平台实现集成联通、服务联动、一体化应用，建立数据采集、清洗和资源交换共享等系统，并通过内、外网服务，建设覆盖全市的公共数据交换共享服务体系，实现信息资源的共享、公开与规范。通过业务应用来激活数据，为群众、政府部门以及企业等提供全方位的数据资源服务。

【技术实现步骤摘要】
一种基于多元化数据的融合共享平台
本专利技术属于数据处理领域，具体涉及一种基于多元化数据的融合共享平台。
技术介绍
随着互联网、云计算、物联网等的快速发展，以及视频监控、智能终端、应用商店等的快速普及，全球数据量出现爆炸式增长，我国大数据产业的发展面临的首要难题就是数据孤岛林立、信息融合困难。目前，共享是一个非常重要的指导性理念，为推进大数据融合共享，化解部门间信息系统各自建设，数据封闭运行，整合扶贫办、移民局、人社局、综治办、民政局、卫计局等部门的数据采集需求，实现一轮采集，多部门数据采集联动的方式，通过搭建统一的融合共享平台，全面推进我省各有关部门数据资源梳理，完成对所有居民的多维数据采集；搭建数据采集的常态机制；推进政府数据多维交换共享机制；初步完成就业、民政、扶贫、社保、移民、卫计等部门基础数据的融合与共享便是当下的趋势所在。
技术实现思路
专利技术目的：本专利技术要提供一种快捷、方便、有效地实现单条数据的输入，节约了登记人员时间成本，提升了政府电子政务的能力的基于多元化数据的融合共享平台。技术方案：一种基于多元化数据的融合共享平台，包括数据采集层、数据清洗转换层、数据层和应用层；数据采集层实现数据的采集功能，采取多种采集方式，以满足数据接入单位不同IT系统特定现状的数据采集需求；同时保障数据传输过程的异常处理机制；采集的数据存入交换共享平台的临时库；数据清洗转换层清洗交换共享平台的临时库中的数据信息，实现采集数据的清洗功能，提供不同的清洗转换组件，以满足不同格式、不同内容数据转换的要求；系统同时提供数据加载的功能，清洗与转换完成的数据，加载到共享平台的数据中心；数据层由基础数据库、专题数据库、政务数据主权库三部分组成；其中：基础数据库是各单位IT系统、对内数据信息共享、对外信息开放的基础，该部分主要由人员基础数据库、地区信息及户基础信息组成；专题数据库建立在基础数据库之上，并依据专题业务需求形成面向不同领域的专题数据库数据基础数据库；政务数据主权库是归集采集过来的各机关单位的审批数据信息；应用层包含一是业务应用，激活、完善数据层数据；二是数据融合与共享的应用；上述数据采集层、数据清洗转换层、数据层和应用层基于数据支撑系统运行。具体地，所述数据采集包括政务资源的数据采集和社会资源的数据采集。具体地，所述数据采集利用基于OCR的调查表识别技术扫描软件，实现纸质调查表数据的扫描识别采集；采集内容包括个人基本信息、转移就业意向和职业技能培训需求、贫困信息、参保信息等；这些数据通过在线或离线采集的方式，上传至数据库管理平台，实现数据的存储与统计。具体地，所述清洗转换组件包含格式转换组件、字符转换组件、去重、转义、合并、计算。具体地，所述数据支撑系统包括硬件运行环境和系统软件运行环境。具体地，所述数据采集层实现数据的采集功能，通过原有系统数据整理清洗、新建系统数据接口对接、平台采集软件、OCR纸质材料数据采集等多种方式采集数据。具体地，所述交换共享平台在入库前对数据自动核验，对有问题的数据返回数据源。具体地，所述业务层应用会产生很多真实有效的数据，应用系统通过接口将数据提交给数据层，对数据进行补充、修正、激活。与现有技术比较，本专利技术的有益效果是：通过对数据的采集，为数据的二次加工利用提供基础，实现数据的融合与交互，避免了数据的二次采集，解决了过去数据间相互割裂的局面，降低了政府数据采集支出，提升了政府的运作效率。而数据支撑系统提供了数据的更新及数据的丰富和完善服务，能够快捷、方便、有效地实现单条数据的输入，避免了过去数据统计不到位、数据输入过程繁琐的问题，节约了登记人员时间成本，提升了政府电子政务的能力，有效提高资源利用效率。同时，数据应用系统是对基础数据的二次加工及运用，能够产生收益，未来具备极大的想象空间。符合国家经济及社会发展趋势的要求，在提升人民生活舒适度的同时，拉动经济增长。降低政府基础数据采集及存储成本；能够为各单位提供查询检索服务，不需要像以往烟囱式的通过安装若干不同的系统来查询各自的数据，大大节约行政数据搜寻成本。同时，以往的数据采集方式为各自为政，每次的调查采集只服务本部门，数据的采集具有一定的局限性，同质数据也较多。本专利技术通过一次性的集中采集，解决了重复数据采集问题，节约了政府数据采集的成本。在统一的技术标准和业务规范支撑下，建立数据采集、数据清洗和资源交换共享等系统，并通过内、外网服务，建设覆盖全市的公共数据交换共享服务体系；将多部门数据需求进行分析与融合，实现了数据的融合共享，改变了原有单一数据采集模式。实现数据动态更新，利用系统软件实现数据的实时更新和替换。业务应用广泛，能够更好的帮助政府运用数据资源管理和服务群众，实现数据扶贫。附图说明图1是数据融合与共享平台总体架构；图2是平台数据整体应用架构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施想例仅仅是本专利技术的部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。如图1-2所示，一种基于多元化数据的融合共享平台，包括数据采集层、数据清洗转换层、数据层和应用层；（1）数据采集层实现数据的采集功能，包括政务资源的数据采集、社会资源的数据采集，并提供多种采集方式，以满足数据接入单位不同IT系统特定现状的数据采集需求。为保障数据采集的执行效率、异常处理，达到资源合理的利用。采集方式为通过原有系统数据整理清洗、新建系统数据接口对接、平台采集软件、OCR纸质材料数据采集等多种方式采集数据。针对数据传输过程中出现的数据格式错误、数据逻辑错误等，平台在入库前对数据自动核验，对有问题的数据返回数据源。（2）数据清洗转换层实现采集数据的清洗功能，提供丰富的清洗转换组件，如：格式转换组件、字符转换组件、去重、转义、合并、计算等；以满足不同格式、不同内容数据转换的要求。系统同时提供数据加载的功能，实现清洗转换完成后的数据能及时、高效、正确地加载到目标存储中心。（3）数据层平台数据层主要由基础数据库、专题数据库、政务数据主权库三部分组成。其中：①基础数据库：基础数据库是各单位IT系统、对内数据信息共享、对外信息开放的基础，也是构建设专题应用的重要依据。该部分主要由人员基础数据库、地区信息及户基础信息组成。基础数据库是数据关联的核心，针对就业、培训、参保等形成专题数据库，将基础库与各专题库串联起来才能看明白整体，单个的价值都很小。②专题数据库：建立在基础数据库之上，并依据专题业务需求形成面向不同领域的专题数据库数据，如：留守儿童、居民健康等。③政务数据主权库：归集采集过来的各机关单位的审批数据信息等。（4）应用层应用层包含2个方面的内容本文档来自技高网...

【技术保护点】
1.一种基于多元化数据的融合共享平台，其特征在于：包括数据采集层、数据清洗转换层、数据层和应用层；/n数据采集层实现数据的采集功能，采取多种采集方式，以满足数据接入单位不同IT系统特定现状的数据采集需求；同时保障数据传输过程的异常处理机制；采集的数据存入交换共享平台的临时库；/n数据清洗转换层清洗交换共享平台的临时库中的数据信息，实现采集数据的清洗功能，提供不同的清洗转换组件，以满足不同格式、不同内容数据转换的要求；系统同时提供数据加载的功能，清洗与转换完成的数据，加载到共享平台的数据中心；/n数据层由基础数据库、专题数据库、政务数据主权库三部分组成；其中：基础数据库是各单位IT系统、对内数据信息共享、对外信息开放的基础，该部分主要由人员基础数据库、地区信息及户基础信息组成；专题数据库建立在基础数据库之上，并依据专题业务需求形成面向不同领域的专题数据库数据基础数据库；政务数据主权库是归集采集过来的各机关单位的审批数据信息；/n应用层包含一是业务应用，激活、完善数据层数据；二是数据融合与共享的应用；/n上述数据采集层、数据清洗转换层、数据层和应用层基于数据支撑系统运行。/n

【技术特征摘要】
1.一种基于多元化数据的融合共享平台，其特征在于：包括数据采集层、数据清洗转换层、数据层和应用层；
数据采集层实现数据的采集功能，采取多种采集方式，以满足数据接入单位不同IT系统特定现状的数据采集需求；同时保障数据传输过程的异常处理机制；采集的数据存入交换共享平台的临时库；
数据清洗转换层清洗交换共享平台的临时库中的数据信息，实现采集数据的清洗功能，提供不同的清洗转换组件，以满足不同格式、不同内容数据转换的要求；系统同时提供数据加载的功能，清洗与转换完成的数据，加载到共享平台的数据中心；
数据层由基础数据库、专题数据库、政务数据主权库三部分组成；其中：基础数据库是各单位IT系统、对内数据信息共享、对外信息开放的基础，该部分主要由人员基础数据库、地区信息及户基础信息组成；专题数据库建立在基础数据库之上，并依据专题业务需求形成面向不同领域的专题数据库数据基础数据库；政务数据主权库是归集采集过来的各机关单位的审批数据信息；
应用层包含一是业务应用，激活、完善数据层数据；二是数据融合与共享的应用；
上述数据采集层、数据清洗转换层、数据层和应用层基于数据支撑系统运行。


2.根据权利要求1所述的一种基于多元化数据的融合共享平台，其特征在于：所述数据采集包括政务资源的数据采集和社会资源的数据采集。


3.根据权利要求1所述的一...

【专利技术属性】
技术研发人员：胡耀，罗磊，
申请(专利权)人：贵州人和致远数据服务有限责任公司，
类型：发明
国别省市：贵州;52