数据文件合并方法、装置、电子设备和计算机可读介质制造方法及图纸

本公开的实施例公开了数据文件合并方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：根据所接收的各个导入数据组，确定各个导入数据组所对应的各个导入数据文件；根据各个导入数据文件，确定各个导入数据文件的数量是否满足预设数量条件；响应于确定各个导入数据文件的数量满足预设数量条件，根据各个导入数据文件，确定各个目标数据文件；将各个目标数据文件组合为目标数据文件队列；响应于确定目标数据文件队列中的各个目标数据文件满足合并条件，对各个目标数据文件进行合并，以生成合并数据文件。该实施方式实现了避免超限导致的导入失败，节约了用户时间和资源，提高了导入数据的性能。提高了导入数据的性能。提高了导入数据的性能。

【技术实现步骤摘要】
数据文件合并方法、装置、电子设备和计算机可读介质


[0001]本公开的实施例涉及计算机
，具体涉及数据文件合并方法、装置、电子设备和计算机可读介质。

技术介绍

[0002]将导入至联机分析处理系统的数据进行合并，用户使用联机分析处理系统查询数据更加便捷。目前，在对导入数据进行合并时，通常采用的方式为：限制导入的数据量，对所导入的数据对用户进行展示以及异步的合并导入数据，或对导入的数据进行合并之后再对用户进行展示。
[0003]然而，专利技术人发现，当采用上述方式对导入数据进行合并时，经常会存在如下技术问题：第一，当将数据导入之后对用户进行展示且异步合并导入数据时，若用户对所展示的未合并的数据进行操作，造成用户对导入数据的操作效率较低，且对用户导入的数据量进行限制，系统不能预估需导入的数据量，造成用户导入较多数据时才超限以造成导入失败，从而导入数据的性能较差，以及浪费用户时间和计算资源。
[0004]第二，当对导入数据合并之后再对用户进行展示时，对所有的导入数据进行合并，造成合并导入数据的时间较长，合并数据的效率较低，导致用户等待的时间较长，导入数据的性能较差。
[0005]该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0007]本公开的一些实施例提出了数据文件合并方法、装置、电子设备和计算机可读介质，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。
[0008]第一方面，本公开的一些实施例提供了一种数据文件合并方法，该方法包括：根据所接收的各个导入数据组，确定所接收的各个导入数据组所对应的各个导入数据文件。其中，各个导入数据组中的导入数据组对应各个导入数据文件中的导入数据文件；根据各个导入数据文件，确定各个导入数据文件的数量是否满足预设数量条件；响应于确定各个导入数据文件的数量满足预设数量条件，根据各个导入数据文件，确定各个目标数据文件；将各个目标数据文件组合为目标数据文件队列；响应于确定目标数据文件队列中的各个目标数据文件满足合并条件，对各个目标数据文件进行合并，以生成合并数据文件。
[0009]第二方面，本公开的一些实施例提供了一种数据文件合并装置，装置包括：第一确定单元，被配置成根据所接收的各个导入数据组，确定所接收的各个导入数据组所对应的
各个导入数据文件。其中，各个导入数据组中的导入数据组对应各个导入数据文件中的导入数据文件；第二确定单元，被配置成根据各个导入数据文件，确定各个导入数据文件的数量是否满足预设数量条件；第三确定单元，被配置成响应于确定各个导入数据文件的数量满足预设数量条件，根据各个导入数据文件，确定各个目标数据文件；组合单元，被配置成将各个目标数据文件组合为目标数据文件队列；合并单元，被配置成响应于确定目标数据文件队列中的各个目标数据文件满足合并条件，对各个目标数据文件进行合并，以生成合并数据文件。
[0010]第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
[0011]第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
[0012]本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的数据文件合并方法，提高了用户对导入数据的操作效率，且避免了数据量超限导致的导入失败，提高了导入数据的性能，节约了用户时间和计算资源。具体来说，导入数据的失败、浪费了用户时间和计算资源，用户对数据的操作效率较低且导入数据的性能较差的原因在于：当将数据导入之后对用户进行展示且异步合并导入数据时，若用户对所展示的未合并的数据进行操作，造成用户对导入数据的操作效率较低，且对用户导入的数据量进行限制，系统不能预估需导入的数据量，造成用户导入较多数据时才超限以造成导入失败，从而导入数据的性能较差，以及浪费用户时间和计算资源。基于此，本公开的一些实施例的数据文件合并方法，首先，根据所接收的各个导入数据组，确定所接收的各个导入数据组所对应的各个导入数据文件，其中，各个导入数据组中的导入数据组对应各个导入数据文件中的导入数据文件。由此，可以确定表征各个导入数据组的各个导入数据文件，从而可以用于对导入数据文件进行合并。然后，根据各个导入数据文件，确定各个导入数据文件的数量是否满足预设数量条件。由此，可以从满足预设数量条件的各个导入数据文件中选择需要合并的数据文件。其次，响应于确定各个导入数据文件的数量满足预设数量条件，根据各个导入数据文件，确定各个目标数据文件。由此，所确定的各个目标数据文件可以表征所需合并的各个导入数据文件。之后，将各个目标数据文件组合为目标数据文件队列。由此，可以表征各个目标数据文件的集合，可以用于确定目标数据文件队列中的各个目标数据文件是否满足合并条件。最后，响应于确定目标数据文件队列中的各个目标数据文件满足合并条件，对各个目标数据文件进行合并，以生成合并数据文件。由此，可以得到对目标数据文件合并之后的导入数据文件。也因为没有限制导入数据的数量，而是在联机分析处理系统对各个导入数据进行合并之前，在导入过程中对各个导入数据中符合预处理合并的各个导入数据进行合并，然后联机分析处理系统再对进行预处理合并的各个导入数据和未进行预处理合并的各个导入数据进行合并，从而避免了因超限导致的导入失败，节约了用户时间和资源，提高了导入数据的性能。又因为，对用户所展示的各个导入数据是预处理合并后的导入数据，在导入数据过程中完成对各个导入数据进行的预处理合并，从而用户对所展示的导入数据进行操作时，提高了用户操作的效率，提高了导入数据的性能。由此，不限制导入数据的数量，从而避免了因超限导致的导入失败，节约了用户时间和资源，及对导入数据进行预处理合并提
高了导入数据的性能以及提高了用户对导入数据操作的效率。
附图说明
[0013]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
[0014]图1是根据本公开的数据文件合并方法的一些实施例的流程图；图2是根据本公开的数据文件合并装置的一些实施例的结构示意图；图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
[0015]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据文件合并方法，包括：根据所接收的各个导入数据组，确定所接收的各个导入数据组所对应的各个导入数据文件，其中，所述各个导入数据组中的导入数据组对应所述各个导入数据文件中的导入数据文件；根据所述各个导入数据文件，确定所述各个导入数据文件的数量是否满足预设数量条件；响应于确定所述各个导入数据文件的数量满足所述预设数量条件，根据所述各个导入数据文件，确定各个目标数据文件；将所述各个目标数据文件组合为目标数据文件队列；响应于确定所述目标数据文件队列中的各个目标数据文件满足合并条件，对所述各个目标数据文件进行合并，以生成合并数据文件。2.根据权利要求1所述的方法，其中，在所述根据所接收的各个导入数据组，确定所接收的各个导入数据组所对应的各个导入数据文件之前，所述方法还包括：响应于接收到导入数据组，执行以下更新步骤：根据所述导入数据组，生成对应所接收的导入数据组的导入数据文件和元数据；将所述导入数据文件添加至导入数据文件集合，以对所述导入数据文件集合进行更新；将所述元数据添加至元数据集合，以对所述元数据集合进行更新。3.根据权利要求2所述的方法，其中，在所述根据所述各个导入数据文件，确定所述各个导入数据文件的数量是否满足预设数量条件之后，所述方法还包括：响应于确定所述各个导入数据文件的数量不满足所述预设数量条件，确定是否存在满足预设新增条件的导入数据组；响应于确定存在满足所述预设新增条件的导入数据组，根据满足所述预设新增条件的导入数据组，执行所述更新步骤。4.根据权利要求2所述的方法，其中，在所述将所述各个目标数据文件组合为目标数据文件队列之后，所述方法还包括：根据所述目标数据文件队列，执行以下步骤：将所述目标数据文件队列发送至合并处理线程；确定是否存在满足预设新增条件的导入数据组；响应于确定存在满足预设新增条件的导入数据组，根据满足预设新增条件的导入数据组，执行所述更新步骤。5.根据权利要求1所述的方法，其中，在所述将所述各个目标数据文件组合为目标数据文件队列之后，所述方法还包括：对于目标数据文件队列，执行以下扫描步骤：对目标数据文件队列进行扫描；确定目标数据文件队列中的各个目标数据文件是否均满足所述合并条件；响应于确定目标数据文件队列中的各个目标数据文件均不满足所述合并条件，根据所更新的各个目标数据文件所组合的目标数据文件队列，再次执行所述扫描步骤。6.根据权利要求5所述的方法，其中，在所述响应于确定所述目标数据文件队列中的各
个目标数据文件满足合并条件，对所述各个目标数据文件进行合并，以生成合并数据文件之后，所述方法还包括：根据所述合并数据文件中各个目标数据文件的各个序号，生成对应所述合并数据文件的文件名称作为第一文件名称；根据所述合并数据文件，生成对应所述合并数据文件的元数据作为目标元数据；根据所述合并数据文件，确定对应所述合并数据文件的各个导入数据组；删除元数据集合中对应所确定的各个导入数据组的各个元数据；将所述目标元数据添加至元数据集合，以对元数据集合进行更新；根据所更新的各个目标数据文件所组合的目标数据文件队列，再次执行所述扫描步骤。7.根据权利要求6所述的方法，其中，在所述响应于确定所述目标数据文件队列中的各个目标数据文件满足合并条件，对所述各个目标数据文件进行合并，以生成合并数据文件之后，所...

【专利技术属性】
技术研发人员：张正宇，
申请(专利权)人：北京飞轮数据科技有限公司，
类型：发明
国别省市：