一种基于统一数据层的多信息系统数据管理方法技术方案

本文发明专利技术一种基于统一数据层的多信息系统数据管理方法，属于数据管理领域，所属方法包括：通过RDS服务(Relational Database Service，关系型数据库服务)构建数据库实例，通过Headless Service进行集群内部的通信和关联，构建统一的灾备服务和监控服务，采用CDC(Change Data Capture，变化数据捕获)技术进行数据高效、实时同步，更便捷地获取数据变化情况。基于统一数据层的多信息系统数据管理方法，不仅实现了多信息系统的数据集中，也实现了各信息系统数据状况和系统访问量、负载等系统运行情况的实时监控，有助于大数据分析应用与信息系统统一集成监控与管理。说明书附图中的图1为本发明专利技术的摘要附图。的图1为本发明专利技术的摘要附图。的图1为本发明专利技术的摘要附图。

【技术实现步骤摘要】
一种基于统一数据层的多信息系统数据管理方法


[0001]本专利技术公开了一种基于统一数据层的多信息系统数据管理方法，属于数据管理领域，用于多信息系统数据的集成存储、监控与管理。

技术介绍

[0002]大型企业，尤其是制造行业，往往在研发、生产、仓储物流以及销售等环节积累了大量的数据，随着大数据应用技术的兴起，各类企业也在寻求将数据价值化与资产化的途径，期望通过数据驱动业务发展。在这一过程中，需解决的一个问题是如何对多个信息系统的数据进行管理。
[0003]大数据的应用往往都伴随着数据中心的建设，通常情况下，数据中心采集各信息系统的数据是由信息系统开放其备份数据库或者只读数据库的库表权限，由数据中心访问该备份数据库或者只读数据库后读取对应库表数据并同步到数据中心的数据仓库内，实现方法通常是采用JDBC等数据库连接技术。
[0004]采用数据库连接技术的方法，数据同步的主动权在信息系统一端，即，数据中心仅能读取并同步由信息系统开放了对应权限的备份数据库或者只读数据库中的数据，这导致了如下问题：
[0005]一方面，由于备份库本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于统一数据层的多信息系统数据管理方法，其特征在于：构建统一数据层，实现数据高效、实时同步，数据统一集成管理，与准确、实时监控数据状况。包括下述具体内容：(1)内容1：采用OpenShift技术，构建RDS统一数据层，根据业务系统环境特征，创建与运行单一节点或主从模式的数据库部署，提供即开即用、稳定可靠、可弹性伸缩的数据统一存储服务。(2)内容2：采用Debezium技术，实时监测数据变化情况，将数据变化情况信息以统一的AVRO数据格式进行封装，对数据进行序列化和反序列化处理，通过消息队列模式实现数据高效同步。(3)内容3：采用XtraBackup技术，构建统一灾备服务，支持定时的数据库冷备份机制，记录数据备份时间点，实现数据库的全量、增量恢复与数据合并，并将备份数据存储到GlusterFS分布式文件系统。(4)内容4：采用Prometheus技术，构建统一监控服务，分别在Kubernetes对象层和Pod层部署代理服务，自动采集每个容器内的CPU、内存、网络、IO等运行指标，自动监控Kubernetes容器变化，提供持续性的实施监控服务。2.根据权利要求1所述的RDS统一数据层，其特征在于，所述的内容1具体内容与方法如下：(1)RDS统一数据层根据信息系统环境特征，创建与运行单一节点或主从模式的数据库部署。其中，对于主从模式部署的数据库，采用读写分离方式提供多个数据库服务，主节点的数据库数据会自动复制到从节点内，写请求在流入主节点的同事，根据网络策略分发到集群内节点上，以分摊数据库负载。(2)RDS统一数据层采用Kubernetes的ConfigMap服务将配置和部署节点的数据库服务分离，提高工作负载可移植性，便于各信息系统的调整、数据服务扩容与定制化参数的添加来快速创建新的数据库实例。(3)RDS统一数据层采用Headless Service为关联的每一个数据库实例服务提供对应的有状态、顺序的DNS地址，避免各应用实例之间的访问冲突，解决在Kubernetes下的分布式...

【专利技术属性】
技术研发人员：曾仲大，陈爱明，文里梁，
申请(专利权)人：大连达硕信息技术有限公司，
类型：发明
国别省市：