数据调度装置制造方法及图纸

本发明专利技术提供一种数据调度装置，包括：实时接入子系统，用于将数据存入数据库；数据库，包括数据接入区与数据分析区；数据接入区，用于存储来自实时接入子系统的数据；数据分析区，用于存储来自数据接入区的数据，向数据分析子系统提供所存储的数据；数据分析子系统，用于对来自数据分析区的数据进行分析；数据调度子系统，用于将数据接入区存储的数据调度至数据分析区。通过实施本发明专利技术，可以减轻数据库压力。

【技术实现步骤摘要】

本专利技术涉及数据处理
，具体地，涉及一种数据调度装置。
技术介绍
随着业务不断扩展，数据不断增加，数据库的压力也会越来越大，对数据库或者结构化查询语言SQL(StructuredQueryLanguage)的基本优化可能达不到最终的效果，令业务系统运行不稳定。现有技术一是通过多个数据库实现读写分离：把对数据库读和写的操作分开对应不同的数据库服务器，这样能有效地减轻数据库压力，也能减轻IO压力，主数据库提供写操作，从数据库提供读操作。当主数据库进行写操作时，数据要同步到从的数据库，这样才能有效保证数据库完整性。主数据库同步到从数据库后，从数据库一般由多台数据库组成这样才能达到减轻压力的目的。这样无形中提高了系统建设成本和维护成本。现有技术二是在应用层通过spring特性令数据库读写分离，但此方案不支持@Transactional注解事务，要求所有读方法必须是read-only＝“true”。因此，如果采用@Transactional注解事务，就要求在每一个读方法头上加@Transactional且readOnly属性＝true，相当麻烦。并且必须按照配置约定进行配置，不够灵活。
技术实现思路
本专利技术实施例的主要目的在于提供一种数据调度装置，以解决现有技术中需要多台数据库减轻数据库压力、方案配置不够灵活的问题。为了实现上述目的，本专利技术实施例提供一种数据调度装置，包括：实时接入子系统，用于将数据存入数据库；数据库，包括数据接入区与数据分析区；数据接入区，用于存储来自实时接入子系统的数据；数据分析区，用于存储来自数据接入区的数据，向数据分析子系统提供所存储的数据；数据分析子系统，用于对来自数据分析区的数据进行分析；数据调度子系统，用于将数据接入区存储的数据调度至数据分析区。在其中一种实施例中，数据调度装置还包括：数据源系统，用于将数据推送到实时接入子系统。在其中一种实施例中，实时接入子系统还用于：校验数据格式。在其中一种实施例中，数据分析子系统还用于：根据指定的业务规则分析数据。在其中一种实施例中，数据分析区还用于：删除向数据分析子系统提供的数据。在其中一种实施例中，数据调度子系统具体用于：在数据接入区的数据量达到源数据池阈值，数据分析区的数据量达到目标数据池阈值时，将数据接入区存储的数据调度至数据分析区。在其中一种实施例中，数据调度子系统还用于：根据数据迁移的源地址和目标地址将数据接入区存储的数据调度至数据分析区。在其中一种实施例中，数据调度子系统还用于：根据如下一项或多项，将数据接入区存储的数据调度至数据分析区：迁移步长、迁移标记点、迁移频率、迁移执行者。在其中一种实施例中，数据调度装置还包括：历史表，用于存储数据接入区超过存储周期的数据。在其中一种实施例中，历史表存储的数据为数据接入区中的历史数据。借助于上述技术方案，本专利技术将实时接入子系统与数据分析子系统进行解耦，将数据库划分为数据接入区与数据分析区。实时接入子系统将数据存入到数据接入区；数据分析子系统分析来自数据分析区的数据；数据调度子系统将数据接入区存储的数据调度至数据分析区。相比于现有技术，本专利技术实施例将数据库分区，通过一台数据库和数据的迁移调度实现了数据的读写分离功能，有效减轻数据库压力，简单灵活，提升了业务系统运行的稳定性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例中数据调度装置的结构框图；图2是本专利技术实施例中数据调度装置第一种实施例的结构框图；图3是本专利技术实施例中数据调度装置第二种实施例的结构框图；图4是本专利技术实施例中数据调度装置第三种实施例的结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。鉴于现有技术中存在需要多台数据库减轻数据库压力、方案配置不够灵活的问题，本专利技术实施例提供了一种数据调度装置，将实时接入子系统与数据分析子系统进行解耦，将数据库划分为数据接入区与数据分析区。实时接入子系统将数据存入到数据接入区；数据分析子系统分析来自数据分析区的数据；数据调度子系统将数据接入区存储的数据调度至数据分析区。相比于现有技术，本专利技术实施例将数据库分区，通过一台数据库和数据的迁移调度实现了数据的读写分离功能，有效减轻数据库压力，简单灵活，提升了业务系统运行的稳定性。图1是数据调度装置的结构框图。如图1所示，包括：实时接入子系统，用于将数据存入数据库；数据库，包括数据接入区与数据分析区；数据接入区，用于存储来自实时接入子系统的数据；数据分析区，用于存储来自数据接入区的数据，向数据分析子系统提供所存储的数据；数据分析子系统，用于对来自数据分析区的数据进行分析；数据调度子系统，用于将数据接入区存储的数据调度至数据分析区。图2是本专利技术实施例中数据调度装置第一种实施例的结构框图。如图2所示，数据调度装置还包括：数据源系统，用于将数据推送到实时接入子系统。数据源系统可以与数据调度装置进行数据交互。实施例中，实时接入子系统还用于：校验数据格式，格式正确的数据将会存入数据库，格式有误的数据将会删除。数据分析区还会删除数据分析子系统已读取的数据，以保证数据库的存储空间，提升业务系统运行的稳定性。数据分析子系统还用于：根据指定的业务规则分析数据，当数据不符合指定的业务规则时，数据分析子系统会生成并存储警告结果。数据调度子系统可以通过多种方式迁移、调度数据。在其中一种实施例中，数据调度子系统具体用于：在数据接入区的数据量达到源数据池阈值，数据分析区的数据量达到目标数据池阈值时，将数据接入区存储的数据调度至数据分析区。当实时接入子系统向数据库存储大量数据时，会有大量数据待迁移；此时调度子系统将数据连续从数据接入区迁移至数据分析区，直至上述迁移条件不成立。实施例中，迁移效率可以达到每秒万级的数据量，足够承受实时接入子系统存储数据的高峰期。具体实施时，实时接入子系统接收外部数据并校验数据格式，通过校验的数据会持久化到数据库的数据接入区；根据业务含义，在数据库的持久层将数据库的存储区划分为数据接入区与数据分析区。数据调度子系统将通过校验的数据从数据接入区迁移到数据分析区，数据分析区存储来自数据接入区的数据，向数据分析子系统提供所存储的数据；数据分析子系统从数据分析区读取数据，根据业务规则对来自数据分析区的数据进行分析，经过数据分析子系统读取的数据将会从数据分析区中删除。本专利技术令数据实现读写分离，只有当数据接入区的数据量达到调度指令中的源数据池阈值，数据分析区的数据量达到调度指令中的目标数据池阈值时，数据才会从数据接入区迁移至数据分析区，提升了业务系统的性能和运行的稳定性。实施例中，数据调度子系统还用于：根据数据迁移的源地址和目标地址将数据接入区存储的数据调度至数据分析区。其中，源地址为被迁移的数据在数据接入本文档来自技高网...

【技术保护点】
一种数据调度装置，其特征在于，包括：实时接入子系统，用于将数据存入数据库；数据库，包括数据接入区与数据分析区；数据接入区，用于存储来自实时接入子系统的数据；数据分析区，用于存储来自数据接入区的数据，向数据分析子系统提供所存储的数据；数据分析子系统，用于对来自数据分析区的数据进行分析；数据调度子系统，用于将数据接入区存储的数据调度至数据分析区。

【技术特征摘要】
1.一种数据调度装置，其特征在于，包括：实时接入子系统，用于将数据存入数据库；数据库，包括数据接入区与数据分析区；数据接入区，用于存储来自实时接入子系统的数据；数据分析区，用于存储来自数据接入区的数据，向数据分析子系统提供所存储的数据；数据分析子系统，用于对来自数据分析区的数据进行分析；数据调度子系统，用于将数据接入区存储的数据调度至数据分析区。2.根据权利要求1所述的数据调度装置，其特征在于，还包括：数据源系统，用于将数据推送到实时接入子系统。3.根据权利要求1所述的数据调度装置，其特征在于，实时接入子系统还用于：校验数据格式。4.根据权利要求1所述的数据调度装置，其特征在于，数据分析子系统还用于：根据指定的业务规则分析数据。5.根据权利要求1所述的数据调度装置，其特征在于，数据分析区还用于：删除向数据分析子系统提...

【专利技术属性】
技术研发人员：周培，李立伟，沈滨，郭建军，
申请(专利权)人：中体彩科技发展有限公司，
类型：发明
国别省市：北京;11