一种大数据分区存储方法及装置制造方法及图纸

本申请实施例公开了一种大数据分区存储方法及装置，方法包括：获取待存入数据的占用存储空间，根据占用存储空间以及目标数据表每个分区的数据存储容量，对目标数据表的待存入数据进行分区，并得到每个分区的分区标识值；将待存入数据中各条数据的首字符与每个分区的分区标识值之间建立映射关系；根据各条数据的首字符，利用映射关系，确定待存入数据中各条数据所对应的分区标识值；根据映射关系，将每个分区的分区标识值添加到待存入数据中各条数据前；根据待存入数据中各条数据前添加的分区标识值，将各条数据存入对应分区中。由此可见，本申请实施例实现了将数据表的数据进行分区保存，有利于数据库对于数据的分区存储和分区查询。

【技术实现步骤摘要】
一种大数据分区存储方法及装置
本申请涉及计算机领域，尤其涉及一种大数据分区存储方法及装置。
技术介绍
当前的数据库中包括数据表，数据表用于存储数据库中的大数据。数据可以是以单字节编码(ASCII码)字符进行存储，也可以是以非ASCII码字符进行存储。在进行数据存储时，一个数据表在一个存储区域有存储数据的容量上限，基于此，数据库提供数据表的分区存储方法来实现对于大容量数据的存储。数据表的分区存储方法指的是将属于同一数据表的数据分成多个存储区域进行存储的方法，例如将同一数据表的数据均匀的存储在不同的磁盘中。但是，现有的数据表的分区存储方法只能针对ASCII码字符进行分区存储，无法针对非ASCII码字符进行分区存储。综上，现有的数据表的分区存储方法只能针对ASCII码字符进行分区存储，无法针对非ASCII码字符进行分区存储。
技术实现思路
为了解决现有大数据技术中数据表的分区存储方法只能针对ASCII码字符进行分区存储，无法针对非ASCII码字符进行分区存储的问题，本申请提供了一种大数据分区存储方法，能够支持数据表的数据进行分区存储。本申请实施例提供了一种大数据分区存储方法，所述方法包括：获取待存入数据的占用存储空间，根据所述占用存储空间以及目标数据表每个分区的数据存储容量，对所述目标数据表的待存入数据进行分区，并得到每个分区的分区标识值，所述分区为分配多个设备的存储区域进行数据的存储；将所述待存入数据中各条数据的首字符与所述每个分区的分区标识值之间建立映射关系；根据所述各条数据的首字符，利用所述映射关系，确定所述待存入数据中各条数据所对应的分区标识值；根据所述映射关系，将所述每个分区的分区标识值添加到所述待存入数据中各条数据前；根据所述待存入数据中各条数据前添加的分区标识值，将所述各条数据存入对应分区中。可选的，所述分区标识值包括起始标识值和结束标识值；所述将所述待存入数据中各条数据的首字符与所述每个分区的分区标识值之间建立映射关系包括：将所述待存入数据中各条数据的首字符与所述每个分区的起始标识值之间建立映射关系。可选的，在获取待存入数据的占用存储空间时，还获取所述目标数据表的名称；所述根据所述待存入数据中各条数据前添加的分区标识值，将所述各条数据存入对应分区中包括：根据目标数据表的名称，确定数据待存入的目标数据表；根据所述待存入数据中各条数据前添加的分区标识值，确定所述待存入数据的分区；将所述添加分区标识值的各条数据根据字段名称、字段值和唯一标识存入所述目标数据表的对应分区的相应位置。可选的，所述将所述待存入数据中各条数据的首字符与所述每个分区的分区标识值之间建立映射关系包括：根据所述待存入数据中各条数据的首字符在所述目标数据表中出现的频度，确定所述待存入数据中各条数据的首字符对应的分区标识值，保证所述待存入数据的占用存储空间在所述每个分区均匀分布。可选的，所述映射关系存储在第一数据库的数据字典表中，所述数据字典表的名称为目标数据表的名称；所述根据所述各条数据的首字符，利用所述映射关系，确定所述待存入数据中各条数据所对应的分区标识值包括：根据所述目标数据表的名称，得到所述第一数据库的数据字典表的名称，确定所述第一数据库的数据字典表；在所述数据字典表中，根据所述各条数据的首字符查询对应的所述分区标识值。本申请实施例还提供一种大数据分区查询方法，所述方法包括：获取用户输入的目标数据表的名称和查询数据；根据所述目标数据表的名称，得到第一数据库的数据字典表的名称，确定所述第一数据库的数据字典表，所述数据字典表存储有所述查询数据和所述目标数据表每个分区的分区标识值的映射关系；在所述第一数据库的数据字典表中查找所述查询数据的首字符对应的分区标识值；将所述分区标识值添加到所述查询数据前；根据所述查询数据前添加的分区标识值，在对应的分区中查询对应的数据。本申请实施例还提供一种大数据分区存储装置，所述装置包括：获取单元，用于获取待存入数据的占用存储空间，根据所述占用存储空间以及目标数据表每个分区的数据存储容量，对所述目标数据表的待存入数据进行分区，并得到每个分区的分区标识值，所述分区为分配多个设备的存储区域进行数据的存储；建立映射关系单元，用于将所述待存入数据中各条数据的首字符与所述每个分区的分区标识值之间建立映射关系；确定单元，用于根据所述各条数据的首字符，利用所述映射关系，确定所述待存入数据中各条数据所对应的分区标识值；添加单元，用于根据所述映射关系，将所述每个分区的分区标识值添加到所述待存入数据中各条数据前；存储单元，用于根据所述待存入数据中各条数据前添加的分区标识值，将所述各条数据存入对应分区中。可选的，所述分区标识值包括起始标识值和结束标识值；所述建立映射关系单元将所述待存入数据中各条数据的首字符与所述每个分区的分区标识值之间建立映射关系包括：所述建立映射关系单元将所述待存入数据中各条数据的首字符与所述每个分区的起始标识值之间建立映射关系。可选的，所述获取单元在获取待存入数据的占用存储空间时，还获取所述目标数据表的名称；所述添加单元根据所述待存入数据中各条数据前添加的分区标识值，将所述各条数据存入对应分区中包括：所述添加单元根据目标数据表的名称，确定数据待存入的目标数据表；所述添加单元根据所述待存入数据中各条数据前添加的分区标识值，确定所述待存入数据的分区；所述添加单元将所述添加分区标识值的各条数据根据字段名称、字段值和唯一标识存入所述目标数据表的对应分区的相应位置。本申请实施例还提供一种大数据分区查询装置，所述装置包括：获取单元，用于获取用户输入的目标数据表的名称和查询数据；确定单元，用于根据所述目标数据表的名称，得到第一数据库的数据字典表的名称，确定所述第一数据库的数据字典表，所述数据字典表存储有所述查询数据和所述目标数据表每个分区的分区标识值的映射关系；查找单元，用于在所述第一数据库的数据字典表中查找所述查询数据的首字符对应的分区标识值；添加单元，用于将所述分区标识值添加到所述查询数据前；查询单元，用于根据所述查询数据前添加的分区标识值，在对应的分区中查询对应的数据。与现有技术相比，本申请至少具有以下优点：本申请实施例提供了一种大数据分区存储方法，方法包括：获取待存入数据的占用存储空间，根据所述占用存储空间以及目标数据表每个分区的数据存储容量，对所述目标数据表的待存入数据进行分区，并得到每个分区的分区标识值，所述分区为分配多个设备的存储区域进行数据的存储；将所述待存入数据中各条数据的首字符与所述每个分区的分区标识值之间建立映射关系；根据所述各条数据的首字符，利用所述映射关系，确定所述待存入数据中各条数据所对应的分区标识值；根据所述映射关系，将所述每本文档来自技高网...

【技术保护点】
1.一种大数据分区存储方法，其特征在于，所述方法包括：/n获取待存入数据的占用存储空间，根据所述占用存储空间以及目标数据表每个分区的数据存储容量，对所述目标数据表的待存入数据进行分区，并得到每个分区的分区标识值，所述分区为分配多个存储区域进行数据的存储；/n将所述待存入数据中各条数据的首字符与所述每个分区的分区标识值之间建立映射关系；/n根据所述各条数据的首字符，利用所述映射关系，确定所述待存入数据中各条数据所对应的分区标识值；/n根据所述映射关系，将所述每个分区的分区标识值添加到所述待存入数据中各条数据前；/n根据所述待存入数据中各条数据前添加的分区标识值，将所述各条数据存入对应分区中。/n

【技术特征摘要】
1.一种大数据分区存储方法，其特征在于，所述方法包括：
获取待存入数据的占用存储空间，根据所述占用存储空间以及目标数据表每个分区的数据存储容量，对所述目标数据表的待存入数据进行分区，并得到每个分区的分区标识值，所述分区为分配多个存储区域进行数据的存储；
将所述待存入数据中各条数据的首字符与所述每个分区的分区标识值之间建立映射关系；
根据所述各条数据的首字符，利用所述映射关系，确定所述待存入数据中各条数据所对应的分区标识值；
根据所述映射关系，将所述每个分区的分区标识值添加到所述待存入数据中各条数据前；
根据所述待存入数据中各条数据前添加的分区标识值，将所述各条数据存入对应分区中。


2.根据权利要求1所述的方法，其特征在于，所述分区标识值包括起始标识值和结束标识值；
所述将所述待存入数据中各条数据的首字符与所述每个分区的分区标识值之间建立映射关系包括：
将所述待存入数据中各条数据的首字符与所述每个分区的起始标识值之间建立映射关系。


3.根据权利要求1所述的方法，其特征在于，在获取待存入数据的占用存储空间时，还获取所述目标数据表的名称；
所述根据所述待存入数据中各条数据前添加的分区标识值，将所述各条数据存入对应分区中包括：
根据目标数据表的名称，确定数据待存入的目标数据表；
根据所述待存入数据中各条数据前添加的分区标识值，确定所述待存入数据的分区；
将所述添加分区标识值的各条数据根据字段名称、字段值和唯一标识存入所述目标数据表的对应分区的相应位置。


4.根据权利要求1所述的方法，其特征在于，所述将所述待存入数据中各条数据的首字符与所述每个分区的分区标识值之间建立映射关系包括：
根据所述待存入数据中各条数据的首字符在所述目标数据表中出现的频度，确定所述待存入数据中各条数据的首字符对应的分区标识值，保证所述待存入数据的占用存储空间在所述每个分区均匀分布。


5.根据权利要求1所述的方法，其特征在于，所述映射关系存储在第一数据库的数据字典表中，所述数据字典表的名称为目标数据表的名称；
所述根据所述各条数据的首字符，利用所述映射关系，确定所述待存入数据中各条数据所对应的分区标识值包括：
根据所述目标数据表的名称，得到所述第一数据库的数据字典表的名称，确定所述第一数据库的数据字典表；
在所述数据字典表中，根据所述各条数据的首字符查询对应的所述分区标识值。


6.一种大数据分区查询方法，其特征在于，所述方法包括：
获取用户输入的目标数据表的名称和查询数据；
根据所述目标数据表的名称，得到第一数据库的数据字典表的名称，确定所述第一数据库的数据字典表，所述数据字典表存储有所述...

【专利技术属性】
技术研发人员：许吉来，孔亮，罗晓峰，丁杨，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：北京;11