【技术实现步骤摘要】
一种科技大数据智能决策分析方法
[0001]本专利技术属于决策分析方法
，具体涉及一种科技大数据智能决策分析方法。
技术介绍
[0002]目前，云计算平台也称为云平台，其中，以数据存储为主的存储型云平台、以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台都属于云计算平台的范畴，云计算服务平台利用大数据的处理功能来满足人们不同的请求，给人们提供服务。
[0003]现今市场上的此类云计算服务平台种类繁多，基本可以满足人们的使用需求，但是依然存在一定的不足之处。
[0004]通过上述分析，现有技术存在的问题及缺陷为：
[0005](1)在统一运维上的缺陷：科技政务大数据是一个体系化工程，涉及到大量的系统建设和持续运维，随着政务应用的多样化发展，应用的规模也越来越庞大、应用的结构也越来越复杂，需要更加精细的运维工作来保障系统安全稳定地运行。传统政务系统建设后的运维工作，往往由承建厂商各自承担，运维管理工作复杂效率低、机制不健全、出现问题推诿扯皮的现象严重。
[0006](2)...
【技术保护点】
【技术特征摘要】
1.一种科技大数据智能决策分析方法，其特征在于：包括下列步骤：S1、对整体平台的数据进行采集；S2、对整体平台的采集的数据进行治理；S3、对数据进行整合处理。2.根据权利要求1所述的一种科技大数据智能决策分析方法，其特征在于：所述S1中对整体平台的数据进行采集的方法为：从中间库或前置机数据库中采集数据，按照定义好的数据交换方式生成数据包，由定制好的发送路由发送给接收方；接收方接收到数据包后自动进行解包处理，并将数据存储到接收方的前置机交换数据库中；采集内容主要分为：全量采集、增量采集。采集方式主要分为：触发器方式、时间戳方式、全表删除插入方式、全表比对方式。采集工具主要分为：ftp文件传输、数据导入工具、WebService接口；通过建立数据标准、数据归集、数据加工、数据装载，依据不同的业务场景，将采集的数据进行分类，包括结构化数据、非结构化数据、半结构化数据，存储于原始库中。3.根据权利要求1所述的一种科技大数据智能决策分析方法，其特征在于：所述S2中对整体平台的采集的数据进行治理的方法为：通过数据采集装置进行源数据的采集，利用大数据处理技术对原始库数据中的脏数据、重复数据、错误数据进行治理优化，治理完成后，利用大数据算法技术实现数据的标准化，进而快速实现数据治理。4.根据权利要求3所述的一种科技大数据智能决策分析方法，其特征在于：所述利用大数据处理技术对原始库数据中的脏数据、重复数据、错误数据进行治理优化的方法为：对业务数据中不符合标准规范或者无效的数据进行过滤操作，根据采集数据的来源不同，配置不同的数据清洗流程，包括数据过滤和数据去重。5.根据权利要求4所述的一种科技大数据智能决策分析方法，其特征在于：所述数据过滤的方法为：选择数据过滤，选择相应的字段配置对应的过滤规则进行过滤，并通过打标签的方式进行标记识别：手机号的标准规则及过滤；统一社会信用代码的标准规则及过滤；身份证的标准规则及过滤；姓名过滤的标准规则及过滤。6.根据权利要求4所述的一种科技大数据智能决策分析方法，其特征在于：所述数据去重的方法为：去掉重复数据，保证唯一性，根据相关业务属性通过时间/自增主键确定数据更新顺序的字段排序后配置剔重，选择相应的字段做为去重的条件；排序规则为：自增主键顺序；数据更新时间戳顺序；业务流水号顺序；其他可确定重复数据更新顺序；判断去重的依据；然后判断每一个字段是否可以出现重复情况，否则需要去重。7.根据权利要求3所述的一种科技大数据智能决策分析方法，其特征在于：所述利用大数据算法技术实现数据的标准化的方法为：包括下列步骤：S2.1、标准化处理阶段，结合数据标准管理，整理已定义的数据元素、数据字典、相关标准规范和业务流程，在元数据管理模块中进行先期维护，对数据内容、使用范围、使用方式、质量、更新方式、更新周期、数据来源、负责单位、数据提供方、存储位置、处理逻辑、数据格式等内容进行统一管理，用以管理汇聚接入的数据资源；S2.2、与标准数据元库的...
【专利技术属性】
技术研发人员：上官学奎，马瑾男，王志文，倪凯明，宋可，张敬康，尉建兴，张颖，文豪，
申请(专利权)人：山西省信息产业技术研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。