【技术实现步骤摘要】
一种网上国网运营链路大数据传输系统及方法
[0001]本专利技术属于大数据环境下的数据挖掘和应用统计等分布式信息传输领域，具体地，涉及一种网上国网运营链路大数据传输系统及方法。
技术介绍
[0002]一般企业的应用系统，用户在客户端处理的数据量有时比较大，这些比较大的客户端数据需要传输到服务端进行处理或存储。传统的数据传输方式，一般采用一次性传输或者分批同步传输，支持的传输数据量比较小，而且传输性能比较差。一次性传输的方式，占用内存比较大，常出现内存溢出的问题，并且占用网络资源比较大。分批同步传输的方式，传输效率比较低，传输时间比较长。
[0003]随着企业信息化建设的不断发展，不同IT系统间的数据交互越来越频繁，常规的解决方案包括：基于服务接口、基于数据库同步、基于数据传输等。
[0004]基于服务接口是指在应用层面提供数据访问接口，接口有固定的访问协议、接口名称、参数规格、返回值规格，需要数据交互的源和目标的应用系统均提供相应接口的支持。
[0005]基于数据库同步是针对存储于数据库中的数据，通过...
【技术保护点】
【技术特征摘要】
1.一种网上国网运营链路大数据传输方法，其特征在于，所述方法包括步骤：步骤一，根据运营需同步的表需求确定同步的表数量和结构以及每日的数据增量数；步骤二，将所涉及的表按照表信息分类整合到电子表格中；步骤三，根据电子表格内容在kafka里建立分类的主题Topic；步骤四，通过SG
‑
UEP的方式将源端的数据传输至对应的kafka里的主题Topic里；步骤五，在数据库中对照电子表格的表信息进行建表；步骤六，目标端通过Oracle Golden Gate抽取复制的方式将kafka里的数据抽取到Oracle数据库；步骤七，将步骤六同步的数据进行整合和挖掘分析，通过分析相关业务逻辑，形成对应的数据模型；步骤八，通过DI工具的方式配置源端和目标端的库信息，每隔一定时间拉取Oracle数据库的数据在MaxCompute组件进行存储，并进行前台展示。2.根据权利要求1所述的网上国网运营链路大数据传输方法，其特征在于，步骤一中，按照不同的数据中心分成用户中心，工单中心，账单中心，订单中心，消息中心，支付中心，在不同的中心下面整合需要同步的表信息。3.根据权利要求1所述的网上国网运营链路大数据传输方法，其特征在于，步骤三中，在电子表格中将不同的数据表按照类型分别通过kakfa的创建Topic命令在对应的kafka里构建主题Topic；创建带副本的主题Topic进行数据备份。4.根据权利要求1所述的网上国网运营链路大数据传输方法，其特征在于，步骤四中，源端将运营需同步的表通过SG
‑
UEP工具中的表输入
‑
文本文件输入的方式将需要同步的表数据信息抽取出来，并通过上传kafka插件将数据文件同步至对应的主题Topic中；上传至kafka之后，采用SG_UEP中的文件转移插件服务将上传完成的数据文件转移至备份目录，并采用统一更名标准备份。5.根据权利要求1所述的网上国网运营链路大数据传输方法，其特征在于，步骤六中，目标端通过Oracle Golden Gate的方式配置...
【专利技术属性】
技术研发人员：翟千惠，朱萌，钱旭盛，赵磊，何玮，缪猛，张轩城，许高俊，
申请(专利权)人：国网江苏省电力有限公司营销服务中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。