一种数据处理的方法及装置制造方法及图纸

本发明专利技术公开一种数据处理的方法及装置，涉及通信网络技术领域，可以解决为未建立索引的数据表创建索引的效率低的问题。本发明专利技术实施例通过读取未建立索引的数据表；扫描未建立索引的数据表中的所有数据元组，通过用于创建索引元组的信息，获取每个索引定义对应的列信息和每个索引定义对应的列信息所属数据元组的位置信息；根据每个索引定义对应的列信息和每个索引定义对应的列信息所属数据元组的位置信息，生成每个索引定义对应的索引元组；通过索引元组的排序规则，对每个索引定义对应的索引元组进行排序，生成每个索引定义对应的索引文件。本发明专利技术实施例提供的方案适于对数据进行处理时采用。

【技术实现步骤摘要】
一种数据处理的方法及装置
本专利技术涉及通信网络
，尤其涉及一种数据处理的方法及装置。
技术介绍
随着信息技术的发展，信息数据量不断增加，对大量的数据进行快速的存储和查询变得十分重要。为了方便快速的查找数据，在将数据导入数据库时会建立索引，数据在数据库中以表格的形式存储，表格的列表示属性，表格的行表示数据元组，每个数据元组为数据表中的一行数据，索引是根据数据表中一列或若干列按照一定顺序建立的列信息与数据元组之间的对应关系表。在查询数据时，首先通过列信息从索引中查询列信息对应的数据元组，从而确定需要查询的数据元组的位置，然后根据数据元组的位置直接访问数据元组获得所需数据，避免了繁杂的查找过程。 通常建立索引的方法为先把数据表中的索引设置为不可用，在导入数据时不启动索引的建立，导入数据之后设置数据表上的索引为可用，然后扫描数据表中的所有数据元组，为每个数据元组生成一个索引元组，对所有的索引元组排序生成索引文件。之后重新扫描数据表中的所有数据元组，按照上述方法生成下一个索引文件，由于每生成一个索引文件都需要扫描一次数据表中的所有数据元组，会导致创建索引的本文档来自技高网...

【技术保护点】
一种数据处理的方法，其特征在于，所述方法应用于处理未建立索引的数据表，所述未建立索引的数据表包括至少一个数据元组，所述数据元组为所述未建立索引的数据表中的一行数据，所述未建立索引的数据表对应至少一个索引定义，所述索引定义包括用于创建索引元组的信息和索引元组的排序规则，所述索引元组为确定所述数据元组位置的信息，所述方法包括：读取所述未建立索引的数据表；扫描所述未建立索引的数据表中的所有数据元组，通过所述用于创建索引元组的信息，获取每个索引定义对应的列信息和每个索引定义对应的列信息所属数据元组的位置信息；根据每个索引定义对应的列信息和每个索引定义对应的列信息所属数据元组的位置信息，生成每个索引定义...

【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述方法应用于处理未建立索引的数据表，所述未建立索引的数据表包括至少一个数据元组，所述数据元组为所述未建立索引的数据表中的一行数据，所述未建立索引的数据表对应至少一个索引定义，所述索引定义包括用于创建索引元组的信息和索引元组的排序规则，所述索引元组为确定所述数据元组位置的信息，所述方法包括: 读取所述未建立索引的数据表； 扫描所述未建立索引的数据表中的所有数据元组，通过所述用于创建索引元组的信息，获取每个索引定义对应的列信息和每个索引定义对应的列信息所属数据元组的位置信息； 根据每个索引定义对应的列信息和每个索引定义对应的列信息所属数据元组的位置信息，生成每个索引定义对应的索引元组； 通过所述索引元组的排序规则，对每个索引定义对应的索引元组进行排序，生成每个索引定义对应的索引文件。2.根据权利要求1所述的数据处理的方法，其特征在于，当还存在已建立索引的数据表时，其中，所述已建立索引的数据表与所述未建立索引的数据表相比，所述已建立索引的数据表还与索引文件关联，所述通过所述索引元组的排序规则，对每个索引定义对应的索引元组进行排序，生成每个索引定义对应的索引文件，包括: 获取所述已建立索引的数据表中每个索引定义对应的索引元组； 通过所述索引元组的排序规则，对每个索引定义对应的所述已建立索引的数据表的索引元组和所述未建立索引的数据表的索引元组进行排序，生成每个索引定义对应的索引文件。3.根据权利要求1或2所述的数据处理的方法，其特征在于，在所述通过所述索引元组的排序规则，对每个索引定义对应的索引元组进行排序，生成每个索引定义对应的索引文件之前，所述方法还包括: 确定内存空闲容量和每个索引定义对应的索引元组的大小； 根据所述内存空闲容量和每个索引定义对应的索引元组的大小，确定对索引元组排序的第一索引定义数量； 所述通过所述索引元组的排序规则，对每个索引定义对应的索引元组进行排序，生成每个索引定义对应的索引文件，包括: 51、通过所述索引元组的排序规则，对所述第一索引定义数量的索引定义对应的索引元组同时进行排序，生成所述第一索引定义数量的索引定义对应的索引文件； 52、将已生成的索引文件进行导出； 53、当导出所述已生成的索引文件之后，重新确定内存空闲容量，得到更新后的内存空闲容量； 54、根据所述更新后的内存空闲容量和每个索引定义对应的索引元组的大小，确定对索引元组排序的第N索引定义数量，所述N为大于I的整数，所述N用于表示对索引元组进行排序的次数； 55、通过所述索引元组的排序规则，对所述第N索引定义数量的索引定义对应的索引元组同时进行排序，生成所述第N索引定义数量的索引定义对应的索引文件； S6、按照步骤S2-S5的顺序执行，直到完成所有索引定义对应的索引文件的生成。4.根据权利要求1或2所述的数据处理的方法，其特征在于，所述通过所述索引元组的排序规则，对每个索引定义对应的索引元组进行排序，生成每个索引定义对应的索引文件，包括: 通过所述索引元组的排序规则，依次对每个索引定义对应的索引元组进行排序，生成每个索引定义对应的索引文件。5.根据权利要求4所述的数据处理的方法，其特征在于，在所述通过所述索引元组的排序规则，对每个索引定义对应的索引元组进行排序，生成每个索引定义对应的索引文件之后，所述方法还包括: 将已生...

【专利技术属性】
技术研发人员：杜培亮，
申请(专利权)人：杭州华为数字技术有限公司，
类型：发明
国别省市：浙江;33