数据存储及导出的方法和设备技术

本申请提供一种用于数据存储和导出数据的方法和设备。具体地，在第一数据结构分片区地存储数据，并由第二数据结构和第三数据结构分别存储相关的调用信息、结构信息和位置信息。根据第二数据结构和第三数据结构分别所存储相关的调用信息、结构信息和位置信息查找第一数据结构存储相应数据的各片区，对相应各片区的数据进行并行处理。与现有技术相比，本申请通过划分出第一数据结构、第二数据结构和第三数据结构，从而使数据的存储结构清晰且便于查询，且极大地提高了数据导出效率。

【技术实现步骤摘要】

本申请涉及通信及计算机领域，尤其涉及数据存储及导出的方法和设备。
技术介绍
大数据带来的信息风暴正极大地改变着人们的工作、生活等，当前，有很多应用场景需要将存储在数据库中的数据导出到其他平台进行分析运算，通常的方法是利用SQL语句直接查询，需要服务端全表扫描，速度非常慢，若用该方法导出一张包含1亿条记录的表，耗时过长，数据导出效率过低，影响用户体验。申请内容本申请的目的是提供一种提高数据存储及导出效率的的方法和设备。根据本申请的一个方面，提供了一种用于数据存储的方法，其中，所述方法包括：在第一数据结构中划分出若干片区，并在所述第一数据结构的各片区中存储所述数据；在第二数据结构中划分出若干片区，并在所述第二数据结构的各片区中存储若干第一调用信息，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及在第三数据结构中存储若干第二调用信息，每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息。进一步地，在所述第一数据结构中划分出若干片区包括：根据所述数据的配置信息，在所述第一数据结构中划分出若干片区，其中所述数据的配置信息包括配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。进一步地，在所述第二数据结构中划分出若干片区包括：根据所述第一调用信息的配置信息，在所述第二数据结构中划分出若干片区，其中，
所述第一调用信息的配置信息包括所述第一调用信息的配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。进一步地，所述第二数据结构包括一层或至少两层第二子数据结构。进一步地，所述第二数据结构包括至少两层第二子数据结构，则在所述第二数据结构的各片区中存储若干第一调用信息包括：在底层第二子数据结构的各片区中分行地存储若干所述第一调用信息；以及在其上每一层第二子数据结构的各片区中存储若干第三调用信息，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息。根据本申请的一个方面，提供了一种用于数据导出的方法，其中，所述方法包括：根据查询请求，从第三数据结构所存储的第二调用信息调取相应第二数据结构和第一数据结构，其中每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息；从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区，其中，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及对相应每一所述第一数据结构的片区所存储的数据进行并行处理。进一步地，对相应每一所述第一数据结构的片区所存储的数据进行并行处理包括：根据所述查询请求的处理条件对相应每一所述第一数据结构的片区所存储的数据进行数据过滤和/或导出，其中所述处理条件包括过滤条件和/或导出条件。进一步地，所述第二数据结构包括一层或至少两层第二子数据结构。进一步地，所述第二数据结构包括至少两层第二子数据结构，则从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区包括：从顶层第二子数据结构的各片区所存储的第三调用信息中查找满足所述查询请求的数据在其下一层第二子数据结构的所有片区，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息；以及从底层所述第二子数据结构的各片区所存储的第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区。进一步地，所述方法还包括：依据所述主键信息，对所述第二数据结构的若干各片区进行比对以去重。根据本申请的另一个方面，提供了一种用于数据存储的设备，其中，所述设备包括：第一装置，用于在第一数据结构中划分出若干片区，并在所述第一数据结构的各片区中存储所述数据；第二装置，用于在第二数据结构中划分出若干片区，并在所述第二数据结构的各片区中存储若干第一调用信息，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及第三装置，用于在第三数据结构中存储若干第二调用信息，每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息。进一步地，所述第一装置备包括：第一单元，用于根据所述数据的配置信息，在所述第一数据结构中划分出若干片区，其中所述数据的配置信息包括配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。进一步地，所述第二装置包括：第二单元，用于根据所述第一调用信息的配置信息，在所述第一数据结构中划分出若干片区，其中，所述第一调用信息的配置信息包括所述第一调用信息的配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。进一步地，所述第二数据结构包括一层或至少两层第二子数据结构。进一步地，所述第二数据结构包括至少两层第二子数据结构，则所述第二装置包括：第三单元，用于在底层第二子数据结构的各片区中分行地存储若干所述第一调用信息；以及第四单元，用于在其上每一层第二子数据结构的各片区中存储若干第三调用信息，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息。根据本申请的另一个方面，提供了一种用于数据导出的设备，其中，所述设备包括：第四装置，用于根据查询请求，从第三数据结构所存储的第二调用信息调取相应第二数据结构和第一数据结构，其中每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息；第五装置，用于从相应所述第二数据结构的各片区所存储的若干第一调用
信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区，其中，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及第六装置，用于对相应每一所述第一数据结构的片区所存储的数据进行并行处理。进一步地，所述第六装置包括：第五单元，用于根据所述查询请求的处理条件对相应每一所述第一数据结构的片区所存储的数据进行数据过滤和/或导出，其中所述处理条件包括过滤条件和/或导出条件。进一步地，所述第二数据结构包括一层或至少两层第二子数据结构。进一步地，所述第二数据结构包括至少两层第二子数据结构，则所述第五装置包括：第六单元，用于从顶层第二子数据结构的各片区所存储的第三调用信息中查找满足所述查询请求的数据在其下一层第二子数据结构的所有片区，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息；以及第七单元，用于从底层所述第二子数据结构的各片区所存储的第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区。进一步地，所述设备还包括：第七装置，用于依据所述主键信息，对所述第二数据结构的若干各片区进行比对以去重。与现有技术相比，本申请一方面所述的数据存储方法及设备通过划分出第一数据结构、第二数据结构和第三数据结构，由第一数据结构分片区地存储数据，并由第二数据结构和第三数据结构分别存储相关的调用信息、结构信息和位置信息，从而使数据的存储结构清晰且便于查询。进一步的，本申请另一方面所述的数据导出方法及设备，根据第二数据结构和第三数据结构分别所存储相关的调用信息、结构信息和位置信息查找第一数据结构存储相应数据的各片区，对相应各片区的数据进行并行处理，从而极大地提高本文档来自技高网...

【技术保护点】
一种用于数据存储的方法，其中，所述方法包括：在第一数据结构中划分出若干片区，并在所述第一数据结构的各片区中存储所述数据；在第二数据结构中划分出若干片区，并在所述第二数据结构的各片区中存储若干第一调用信息，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及在第三数据结构中存储若干第二调用信息，每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息。

【技术特征摘要】
1.一种用于数据存储的方法，其中，所述方法包括：在第一数据结构中划分出若干片区，并在所述第一数据结构的各片区中存储所述数据；在第二数据结构中划分出若干片区，并在所述第二数据结构的各片区中存储若干第一调用信息，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及在第三数据结构中存储若干第二调用信息，每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息。2.根据权利要求1所述的数据存储方法，其中，在所述第一数据结构中划分出若干片区包括：根据所述数据的配置信息，在所述第一数据结构中划分出若干片区，其中所述数据的配置信息包括配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。3.根据权利要求1或2所述的数据存储方法，其中，在所述第二数据结构中划分出若干片区包括：根据所述第一调用信息的配置信息，在所述第二数据结构中划分出若干片区，其中，所述第一调用信息的配置信息包括所述第一调用信息的配置大小、获取时间范围、获取主体以及记录数量中任一项或任几项。4.根据权利要求1至3中任一项所述的方法，其中，所述第二数据结构包括一层或至少两层第二子数据结构。5.根据权利要求4所述的方法，其中，所述第二数据结构包括至少两层第二子数据结构，则在所述第二数据结构的各片区中存储若干第一调用信息包括：在底层第二子数据结构的各片区中分行地存储若干所述第一调用信息；以及在其上每一层第二子数据结构的各片区中存储若干第三调用信息，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和
\t位置信息。6.一种用于数据导出的方法，其中，所述方法包括：根据查询请求，从第三数据结构所存储的第二调用信息调取相应第二数据结构和第一数据结构，其中每一所述第二调用信息包括所述第二数据结构和第一数据结构的结构信息和位置信息；从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区，其中，每一所述第一调用信息包括所述第一数据结构的一片区的主键信息和位置信息；以及对相应每一所述第一数据结构的片区所存储的数据进行并行处理。7.根据权利要求6所述的方法，其中，对相应每一所述第一数据结构的片区所存储的数据进行并行处理包括：根据所述查询请求的处理条件对相应每一所述第一数据结构的片区所存储的数据进行数据过滤和/或导出，其中所述处理条件包括过滤条件和/或导出条件。8.根据权利要求6或7所述的方法，其中，所述第二数据结构包括一层或至少两层第二子数据结构。9.根据权利要求8所述的方法，其中，所述第二数据结构包括至少两层第二子数据结构，则从相应所述第二数据结构的各片区所存储的若干第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区包括：从顶层第二子数据结构的各片区所存储的第三调用信息中查找满足所述查询请求的数据在其下一层第二子数据结构的所有片区，其中，每一所述第三调用信息包括其下一层第二子数据结构的一片区的主键信息和位置信息；以及从底层所述第二子数据结构的各片区所存储的第一调用信息中查找满足所述查询请求的数据在所述第一数据结构的所有片区。10.根据权利要求1至9中任一项所述的方法，其中，所述方法还包括：依据所述主键信息，对所述第二数据结构的若干各片区进行比对以去重。11....

【专利技术属性】
技术研发人员：史策，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY