数据处理方法和数据处理装置制造方法及图纸

本发明专利技术提出了一种数据处理方法和数据处理装置。其中，数据处理方法，包括：对数据进行数据分片处理，得到数据的第一数据表名称和第二数据表名称；对第一数据表名称和第二数据表名称进行笛卡尔积运算，得到数据的目标数据表名称；根据目标数据表名称导入数据。本发明专利技术的数据处理方法，通过结合静态分片模式与动态分片模式，实现了数据分表，即将数据分别存储在不同的位置，不仅避免了数据长时间累积的不均匀情况，而且能够快速扩容，无需数据迁移，在进行数据查询时，无需进行二次查询，最大程度的降低了数据分片后导致的查询无效分片的情况。

Data processing method and data processing device

【技术实现步骤摘要】
数据处理方法和数据处理装置
本专利技术涉及信息系统
，具体而言，涉及一种数据处理方法和一种数据处理装置。
技术介绍
随着信息系统的快速发展、应用，各种系统中存储的数据量达到OLTP(在线业务处理)数据库处理能力瓶颈的情况越来越频繁。这时就需要对存储系统做数据分片。数据分片是将整体数据分摊在多个存储设备上，这样每个存储设备的数据量相对就会小很多，以此满足系统的性能需求。数据分片可以分为两大模式。(1)静态分片模式，即分片键是静态分配的，一般使用范围或哈希函数，例如编号为0096开头的员工放到一个分片，编号为0199开头的员工放到另外一个分片，静态分片模式虽然实现简单，但存在数据不均匀的情况，如果数据量持续增长，不利于二次分片、扩容的需求。(2)动态分片模式，即分区函数将从字典中查找分区键，然后定位具体分片号。动态分片模式相比于静态模式更加灵活，但是需要一个集中存储来存放字典，每次查找数据都需要执行2次查询，并且集中存储本身还可能存在单点故障。
技术实现思路
本专利技术旨在至少解决现有技术或相关技术中存在的本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n对所述数据进行数据分片处理，得到所述数据的第一数据表名称和第二数据表名称；/n对所述第一数据表名称和所述第二数据表名称进行笛卡尔积运算，得到所述数据的目标数据表名称；/n根据所述目标数据表名称导入所述数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
对所述数据进行数据分片处理，得到所述数据的第一数据表名称和第二数据表名称；
对所述第一数据表名称和所述第二数据表名称进行笛卡尔积运算，得到所述数据的目标数据表名称；
根据所述目标数据表名称导入所述数据。


2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述数据进行数据分片处理的步骤，具体包括：
获取所述数据的属性信息和数据增长量；
根据所述属性信息和所述数据增长量，创建并命名所述数据的数据表。


3.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述属性信息，创建并命名所述数据的数据表的步骤，具体包括：
根据所述数据的属性信息确定所述数据的第一密钥；
对所述第一密钥进行取模运算，得到所述第一密钥的取模值；
根据所述取模值，创建第一数据表并确定所述第一数据表名称。


4.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述数据增长量，创建并命名所述数据的数据表的步骤，具体包括：
根据所述数据增长量、预设数据增长量与时间分片等级之间的对应关系，确定所述数据的第二密钥；
根据所述第二密钥创建第二数据表并确定所述第二数据表名称。


5.根据权利要求4所述的数据处理方法，其特征在于，所述创建第二数据表的步骤之前，还包括：
比较所述第二密钥和预设时间分片等级；
基于所述第二密钥小于或等于所述预设时间分片等级的情况，创建所述第二数据表。


6.一种数据处理装置，其特征在于，包括：存储器、处理器，所述存储器存储有计算机程序，所...

【专利技术属性】
技术研发人员：张瑞飞，刘春，
申请(专利权)人：用友网络科技股份有限公司，
类型：发明
国别省市：北京;11