一种数据存储方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术公开了一种数据存储方法、装置、服务器及存储介质。该方法包括：获取业务数据；根据所述业务数据的数据类型和数据内容，将所述业务数据存储至数据表中对应的分区；根据所述分区的权重，将权重值小于等于权重阈值的分区中的业务数据移除。通过上述技术方案，以实现提高业务数据分区存储的灵活性。

【技术实现步骤摘要】
一种数据存储方法、装置、服务器及存储介质
本专利技术实施例涉及数据库
，尤其涉及一种数据存储方法、装置、服务器及存储介质。
技术介绍
随着数据库和信息技术的飞速发展，关系数据库在互联网企业级市场中占据了主导地位，对关系数据库已经开发出各种数据管理系统来对数据进行有效地存储，随着业务的不断扩展，线上存储的数据越来越多，对于不重要的业务数据会另外建立单独的数据表进行归档，如何合理的存储大量的业务数据并有效地将不重要的业务数据从当前的数据表中移除，是困扰数据库维护的一个大难题。目前的数据存储方法通常是按照日期或范围等策略对业务数据分别存储，并且将历史数据移除，只保留较新的业务数据，不能全面考虑业务数据的重要性，数据管理的方式单一，无法灵活地对业务数据进行分区存储或移除。
技术实现思路
本专利技术提供了一种数据存储方法、装置、服务器及存储介质，以实现提高业务数据分区存储的灵活性。第一方面，本专利技术实施例提供了一种方法，包括：获取业务数据；根据所述业务数据的数据类型和数据内容，将所述业务数据存储至数据表中对应的分区；根据所述分区的权重，将权重值小于等于权重阈值的分区中的业务数据移除。进一步的，在所述将所述业务数据存储至数据表中对应的分区之后，还包括：创建数据表的索引，所述索引包括计数器；通过所述计数器记录各分区中所述业务数据的读取次数；根据各分区的业务数据的读取次数计算各分区的权重值。进一步的，所述根据所述分区的权重，将权重值小于等于权重阈值的分区中的业务数据移除，包括：将权重值小于等于权重阈值的分区中的业务数据迁移至数据归档表对应分区的数据块的末尾，所述数据归档表的数据结构与所述数据表的数据结构一致。进一步的，在所述将权重值小于等于权重阈值的分区中的业务数据迁移至所述数据归档表对应的分区之后，还包括：若数据库当前的日志模式为归档模式，则确定数据表的日志记录类型；根据所述日志记录类型对数据表生成迁移记录日志。进一步的，其特征在于，还包括：定时增加数据表的分区并更新各分区的权重。第二方面，本专利技术实施例提供了一种数据存储装置，包括：数据获取模块，用于获取业务数据；分区存储模块，用于根据所述业务数据的数据类型和数据内容，将所述业务数据存储至数据表中对应的分区；数据移除模块，用于根据所述分区的权重，将权重值小于等于权重阈值的分区中的业务数据移除。进一步的，所述装置还包括：索引创建模块，用于创建数据表的索引，所述索引包括计数器；计数模块，用于通过所述计数器记录各分区中所述业务数据的读取次数；权重计算模块，用于根据各分区的业务数据的读取次数计算各分区的权重值。进一步的，所述装置还包括：记录类型确定模块，用于若数据库当前的日志模式为归档模式，则确定数据表的日志记录类型；日志生成模块，用于根据所述日志记录类型对数据表生成迁移记录日志。第三方面，本专利技术实施例提供了一种服务器，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的数据存储方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的数据存储方法。本专利技术实施例提供了一种数据存储方法、装置、服务器及存储介质，该方法包括：获取业务数据；根据所述业务数据的数据类型和数据内容，将所述业务数据存储至数据表中对应的分区；根据所述分区的权重，将权重值小于等于权重阈值的分区中的业务数据移除。通过上述技术方案，以实现提高业务数据分区存储的灵活性。附图说明图1为本专利技术实施例一提供的一种数据存储方法的流程图；图2为本专利技术实施例一提供的数据存储方法应用场景的示意图；图3为本专利技术实施例二提供的一种数据存储方法的流程图；图4为本专利技术实施例三提供的一种数据存储装置的结构示意图；图5为本专利技术实施例四提供的一种服务器的硬件结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种数据存储方法的流程图，本实施例可适用于对业务数据分区存储和归档的情况。具体的，该数据存储方法可以由数据存储装置执行，该数据存储装置可以通过软件和/或硬件的方式实现，并集成在服务器中。进一步的，服务器包括但不限定于：工业集成服务器、系统后台服务器以及云端服务器。图2为本专利技术实施例一提供的数据存储方法应用场景的示意图。如图2所示，服务器可通过网络传输、客户端上传、传感器监测等方式获取不同的业务数据，按照数据来源、数据类型等分别存储至关系型数据库中。关系型数据库是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库中的数据，适用于存储和管理大量的业务数据，并以结构化查询语言作为关系型数据库语言。其中，Oracle数据库具有高效率、高可靠性的特点，本实施例将获取到的业务数据分区存储至Oracle的数据表中，并定期将部分业务数据移除或迁移至历史数据归档表。参考图1，该方法具体包括如下步骤：S110、获取业务数据。具体的，业务数据是指海量的企业信息数据，如交易数据、流水数据、业绩数据等，通常情况下业务数据是面向某一业务主题的数据的集合，规模庞大，这些数据从多个业务系统中抽取而来，并且也可能包含了历史数据。业务数据可由各类传感器监测获得，或者通过各类客户端(Web、App等)上传、通过网络传输获得，具有不同的数据类型和数据内容。S120、根据所述业务数据的数据类型和数据内容，将所述业务数据存储至数据表中对应的分区。具体的，数据类型包括整数类型、精确数值型(固定精度和范围的数值)、近似数值型(浮点数)、日期时间型、字符型等；针对不同的业务会产生具体的数据内容，例如，对于交易业务，数据内容包括交易日期、交易金额、预算值等，对于绩效统计业务，数据内容包括绩效值、服务类型等。数据库的数据表按照数据类型和数据内容划分成不同的存储区域，根据所述业务数据的数据类型和数据内容，可将业务数据存储至数据表中对应的分区内。进一步的，在将业务数据存储至数据表之前，在数据库中根据一定的分区策略创建分区表，用以划分存储区域。数据表的分区策略包括：范围分区策略、列表分区策略、散列分区策略及组合策略，其中，范围分区策略是指根据数据表中某一字段值的范围来进行分区，例如，对于绩效值，按照小于等于60、大于60且小于80、大于等于80的数值范围进行分区，也可以是按照时间范围分区，例如，按照日期将每天的业务数据分别存储在对应日期的分区中；散列分区是根据字段的哈希(Hash)值将业务数据均匀分布，即尽可能的实现各分区所散列的业务数据数量相等；列表分区明确指定根据某字段的某个具体值进行分区，例如按照年龄进行分区，同一年龄的人的数据存储在同一个分区内；组合策略是指范围分区策略、列表分区策略、散列分区策略的组合，例如，在按照日期分区的前提下，对一个日期里的数据又按照数值范围来分区，也可以在一个日期、一个数值范围内进一步按照某字段的具体值进行列表分区，当分区策略为组合策略时，预先设置不同分区策略的优先级，本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，包括：获取业务数据；根据所述业务数据的数据类型和数据内容，将所述业务数据存储至数据表中对应的分区；根据所述分区的权重，将权重值小于等于权重阈值的分区中的业务数据移除。

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：获取业务数据；根据所述业务数据的数据类型和数据内容，将所述业务数据存储至数据表中对应的分区；根据所述分区的权重，将权重值小于等于权重阈值的分区中的业务数据移除。2.根据权利要求1所述的方法，其特征在于，在所述将所述业务数据存储至数据表中对应的分区之后，还包括：创建数据表的索引，所述索引包括计数器；通过所述计数器记录各分区中所述业务数据的读取次数；根据各分区的业务数据的读取次数计算各分区的权重值。3.根据权利要求1所述的方法，其特征在于，所述根据所述分区的权重，将权重值小于等于权重阈值的分区中的业务数据移除，包括：将权重值小于等于权重阈值的分区中的业务数据迁移至数据归档表对应分区的数据块的末尾，所述数据归档表的数据结构与所述数据表的数据结构一致。4.根据权利要求3所述的方法，其特征在于，在所述将权重值小于等于权重阈值的分区中的业务数据迁移至所述数据归档表对应的分区之后，还包括：若数据库当前的日志模式为归档模式，则确定数据表的日志记录类型；根据所述日志记录类型对数据表生成迁移记录日志。5.根据权利要求1所述的方法，其特征在于，还包括：定时增加数据表的分区并更新各分区的权重。...

【专利技术属性】
技术研发人员：万月亮，王婷婷，火一莽，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：北京,11