存储空间估算方法、装置、电子设备及可读存储介质制造方法及图纸

本公开实施例公开了一种存储空间估算方法、装置、电子设备及可读存储介质。其中，存储空间估算方法包括：基于数据的采样和计算估计所述数据计算后的结果数据所占的第一存储空间；将所述结果数据写入估计出的第一存储空间；基于估计出的第一存储空间写满后还存在剩余的所述结果数据未被写入，将所述剩余的所述结果数据写入第二存储空间，从而在保证空间使用效率的同时保证整体计算性能。

【技术实现步骤摘要】
存储空间估算方法、装置、电子设备及可读存储介质
本公开涉及数据库
，具体涉及存储空间估算方法、装置、电子设备及可读存储介质。
技术介绍
在计算机领域中，经常需要进行大量计算并且针对计算结果申请存储空间。在一些场景下，可以直接申请最大空间或先精确计算结果大小再二次计算输出结果。例如，在数据库使用场景中，使用多种算子计算都需要先申请计算结果空间，在计算过程中将结果写入到该结果空间中。目前数据库中使用的方案多为直接申请最大空间或先精确计算结果大小再二次计算输出结果，会面临空间使用率低和计算性能差的问题。
技术实现思路
为了解决相关技术中的问题，本公开实施例提供存储空间估算方法、装置、电子设备及可读存储介质。第一方面，本公开实施例中提供了一种存储空间估算方法，包括：基于数据的采样和计算估计所述数据计算后的结果数据所占的第一存储空间；将所述结果数据写入估计出的第一存储空间；基于估计出的第一存储空间写满后还存在剩余的所述结果数据未被写入，将所述剩余的所述结果数据写入第二存储空间。结合第一方面，本公开在第一方面的第一种实现方式中，所述基于数据的采样和计算估计所述数据计算后的结果数据所占的第一存储空间，包括：将记录所述数据的数据表划分为第一数据块组；从所述第一数据块组中抽取出第二数据块组；对所述第二数据块组中的数据块进行计算得到第三数据块组；计算存储所述第三数据块组中的结果数据块的空间容量的平均值；利用存储所述第三数据块组中的结果数据块的空间容量的平均值计算存储所述第一数据块组的处理结果的第四数据块组的第一存储空间。结合第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，所述利用存储所述第三数据块组中的结果数据块的空间容量的平均值计算存储所述第一数据块组的处理结果的第四数据块组的第一存储空间，包括：申请所述第一存储空间。结合第一方面的第一种实现方式，本公开在第一方面的第三种实现方式中，所述将记录所述数据的数据表划分为第一数据块组，包括：将所述数据表平均划分为所述第一数据块组。结合第一方面的第一种实现方式，本公开在第一方面的第四种实现方式中，从所述第一数据块组中抽取出第二数据块组，包括：从所述第一数据块组中随机抽取出所述第二数据块组。结合第一方面的第一种实现方式，本公开在第一方面的第五种实现方式中，还包括：当所述第四数据块组中的结果数据块需要存储入连续空间时，将所述第一存储空间和所述第二存储空间合并，得到第三存储空间。结合第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，所述将所述第一存储空间和所述第二存储空间合并，得到第三存储空间，包括：删除所述第一存储空间中未被所述第四数据块组中的结果数据块占用的空间。第二方面，本公开实施例中提供了一种存储空间估算装置，包括：第一存储空间估算模块，被配置为基于数据的采样和计算估计所述数据计算后的结果数据所占的第一存储空间；第一存储空间写入模块，被配置为将所述结果数据写入估计出的第一存储空间；第二存储空间写入模块，被配置基于估计出的第一存储空间写满后还存在剩余的所述结果数据未被写入，将所述剩余的所述结果数据写入第二存储空间。结合第二方面，本公开在第二方面的第一种实现方式中，所述第一存储空间估算模块还被配置为：将记录所述数据的数据表划分为第一数据块组；从所述第一数据块组中抽取出第二数据块组；对所述第二数据块组中的数据块进行计算得到第三数据块组；计算存储所述第三数据块组中的结果数据块的空间容量的平均值；利用存储所述第三数据块组中的结果数据块的空间容量的平均值计算存储所述第一数据块组的处理结果的第四数据块组的第一存储空间。结合第二方面的第一种实现方式，本公开在第二方面的第二种实现方式中，所述利用存储所述第三数据块组中的结果数据块的空间容量的平均值计算存储所述第一数据块组的处理结果的第四数据块组的第一存储空间，包括：申请所述第一存储空间。结合第二方面的第一种实现方式，本公开在第二方面的第三种实现方式中，所述将记录所述数据的数据表划分为第一数据块组，包括：将所述数据表平均划分为所述第一数据块组。结合第二方面的第一种实现方式，本公开在第二方面的第四种实现方式中，从所述第一数据块组中抽取出第二数据块组，包括：从所述第一数据块组中随机抽取出所述第二数据块组。结合第二方面的第一种实现方式，本公开在第二方面的第五种实现方式中，还包括：空间合并模块，被配置为当所述第四数据块组中的结果数据块需要存储入连续空间时，将所述第一存储空间和所述第二存储空间合并，得到第三存储空间。结合第二方面的第五种实现方式，本公开在第二方面的第六种实现方式中，所述空间合并模块还被配置为：删除所述第一存储空间中未被所述第四数据块组中的结果数据块占用的空间。第三方面，本公开实施例中提供了一种应用于数据库的算子结果空间估算方法，包括：基于数据库中的数据的采样和算子估计所述数据计算后的结果数据所占的第一算子结果空间；将所述结果数据写入估计出的第一算子结果空间；基于估计出的第一算子结果空间写满后还存在剩余的所述结果数据未被写入，将所述剩余的所述结果数据写入第二算子结果空间。第四方面，本公开实施例中提供了一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面、第一方面的第一种实现方式到第一方面的第五种实现方式、第三方面任一项所述的方法。第五方面，本公开实施例中提供了一种可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现如第一方面、第一方面的第一种实现方式到第一方面的第五种实现方式第三方面，本公开实施例中提供了所述的方法。本公开实施例提供的技术方案可以包括以下有益效果：根据本公开实施例提供的技术方案，通过基于数据的采样和计算估计所述数据计算后的结果数据所占的第一存储空间；将所述结果数据写入估计出的第一存储空间；基于估计出的第一存储空间写满后还存在剩余的所述结果数据未被写入，将所述剩余的所述结果数据写入第二存储空间，从而在保证空间使用效率的同时保证整体计算性能。根据本公开实施例提供的技术方案，通过所述基于数据的采样和计算估计所述数据计算后的结果数据所占的第一存储空间，包括：将记录所述数据的数据表划分为第一数据块组；从所述第一数据块组中抽取出第二数据块组；对所述第二数据块组中的数据块进行计算得到第三数据块组；计算存储所述第三数据块组中的结果数据块的空间容量的平均值；利用存储所述第三数据块组中的结果数据块的空间容量的平均值计算存储所述第一数据块组的处理结果的第四数据块组的第一存储空间，从而计算出合理的第一存储空间，在保证空间使用效率的同时保证整体计算性能。根据本文档来自技高网...

【技术保护点】
1.一种存储空间估算方法，其特征在于，包括：/n基于数据的采样和计算估计所述数据计算后的结果数据所占的第一存储空间；/n将所述结果数据写入估计出的第一存储空间；/n基于估计出的第一存储空间写满后还存在剩余的所述结果数据未被写入，将所述剩余的所述结果数据写入第二存储空间。/n

【技术特征摘要】
1.一种存储空间估算方法，其特征在于，包括：
基于数据的采样和计算估计所述数据计算后的结果数据所占的第一存储空间；
将所述结果数据写入估计出的第一存储空间；
基于估计出的第一存储空间写满后还存在剩余的所述结果数据未被写入，将所述剩余的所述结果数据写入第二存储空间。


2.根据权利要求1所述的方法，其特征在于，所述基于数据的采样和计算估计所述数据计算后的结果数据所占的第一存储空间，包括：
将记录所述数据的数据表划分为第一数据块组；
从所述第一数据块组中抽取出第二数据块组；
对所述第二数据块组中的数据块进行计算得到第三数据块组；
计算存储所述第三数据块组中的结果数据块的空间容量的平均值；
利用存储所述第三数据块组中的结果数据块的空间容量的平均值计算存储所述第一数据块组的处理结果的第四数据块组的第一存储空间。


3.根据权利要求2所述的方法，其特征在于，所述利用存储所述第三数据块组中的结果数据块的空间容量的平均值计算存储所述第一数据块组的处理结果的第四数据块组的第一存储空间，包括：
申请所述第一存储空间。


4.根据权利要求2所述的方法，其特征在于，所述将记录所述数据的数据表划分为第一数据块组，包括：
将所述数据表平均划分为所述第一数据块组。


5.根据权利要求2所述的方法，其特征在于，从所述第一数据块组中抽取出第二数据块组，包括：
从所述第一数据块组中随机抽取出所述第二数据块组。


6.根据权利要求2所述的方法，还包括：
当所述第四数据块组中的结果数据块需要存储入连续空间时，将所述第一存储空间和所述第二存储空间合并，得到第三存储空间。


7.根据权利要求6所述的方法，其特征在于，所述将所述第一存储空间和所述第二存储空间合并，得到第三存储空间，包括：删除所述第一存储空间中未被所述第四数据块组中的结果数据块占用的空间。


8.一种存储空间估算装置，其特征在于，包括：
第一存储空间估算模块，被配置为基于数据的采样和计算估计所述数据计算后的结果数据所占的第一存储空间；
第一存储空间写入模块，被配置为将所述结果数据写入估计出的第一存储空间；
第二存储空间写入模块，被配置基于估计出的第一存储空间写满后还存在剩余的所述结果数据未被写入，将所述剩余的所述结果数据写入第二存储空间。...

【专利技术属性】
技术研发人员：金天波，沈国权，吕政，吴宇昊，谢小龙，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY