大数据文件的处理方法、装置、设备及存储介质制造方法及图纸

本申请提供一种大数据文件的处理方法、装置、设备及存储介质，该方法涉及数据存储领域，可应用于任一应用服务器，以提高应用服务器对大数据文件的数据处理能力。该方法包括：接收数据处理任务和数据配置文件，数据处理任务用于处理大数据文本文件，数据配置文件用于定义对大数据文本文件进行分块处理、状态记录以及更新的规则。数据处理任务根据数据配置文件规则读取并执行大数据文本文件的待处理数据，同时记录数据处理状态，直至大数据文本文件中所有待处理数据均处理成功。上述方案基于数据配置文件依次对大数据文本文件的待处理数据进行分块处理和状态记录，可提升服务器处理文件的灵活性和效率。的灵活性和效率。的灵活性和效率。

【技术实现步骤摘要】
大数据文件的处理方法、装置、设备及存储介质


[0001]本申请涉及数据存储领域，尤其涉及一种大数据文件的处理方法、装置、设备及存储介质。

技术介绍

[0002]随着网络信息技术的加速发展和应用，物联网、移动互联、社交网络等大大拓展了互联网的应用领域，互联网时代的数据正在迅速膨胀，大数据成为信息技术发展的新热点。
[0003]大数据环境下的数据来源丰富且数据类型多样，存储和分析挖掘的数据量庞大，对数据展现的要求较高。传统的数据处理方法是以处理器为中心，而大数据环境下，需要采取以数据为中心的模式，减少数据移动带来的开销。因此，传统的数据处理方法，已不能适应大数据的需求。

技术实现思路

[0004]本申请实施例提供一种大数据文件的处理方法、装置、设备及存储介质，以提高应用服务器对大数据文件的数据处理能力。
[0005]本申请实施例的第一方面提供一种大数据文件的处理方法，包括：
[0006]接收数据处理任务和数据配置文件，所述数据处理任务用于处理大数据文本文件，所述数据配置文件用于指示对所述大数据文本文件进行分块处理、记录以及更新的方法；
[0007]根据所述数据配置文件读取并执行所述大数据文本文件的待处理数据，同时记录数据处理状态，直至所述大数据文本文件中的所有待处理数据均处理成功。
[0008]在本申请第一方面的一个可选实施例中，所述根据所述数据配置文件读取所述大数据文本文件的待处理数据，包括：
[0009]根据所述数据配置文件从redis中间件读取所述大数据文本文件的待处理数据。
[0010]在本申请第一方面的一个可选实施例中，所述数据配置文件包括对所述大数据文本文件进行单次处理行数的配置信息；所述根据所述数据配置文件读取并执行所述大数据文本文件的待处理数据，同时记录数据处理状态，直至所述大数据文本文件中的所有待处理数据均处理成功，包括：
[0011]根据所述单次处理行数对所述大数据文本文件的待处理数据进行切分，得到多个待处理数据单元，每个待处理数据单元包括M行待处理数据，M为正整数；
[0012]依次读取并执行所述多个待处理数据单元，同时记录每个待处理数据单元的数据处理状态，直至所有待处理数据单元均处理成功。
[0013]在本申请第一方面的一个可选实施例中，所述数据配置文件包括记录单次处理状态的配置信息；所述方法还包括：
[0014]根据所述记录单次处理状态的配置信息，获取每个待处理数据单元对应的初始数据处理标记键值对，每个待处理数据单元对应的初始数据处理标记键值对均指示所述待处
理数据单元的处理状态为未处理；
[0015]将所述多个待处理数据单元对应的初始数据处理标记键值对存储至数据库。
[0016]在本申请第一方面的一个可选实施例中，所述依次读取并执行所述多个待处理数据单元，包括：
[0017]从redis中间件中读取第一待处理数据单元对应的数据处理标记键值对，若所述数据处理标记键值对指示所述第一待处理数据单元的处理状态为处理失败或未处理，获取并执行所述第一待处理数据单元中的待处理数据；
[0018]所述第一待处理数据单元为所述多个待处理数据单元中的任意一项。
[0019]在本申请第一方面的一个可选实施例中，所述方法还包括：
[0020]若所述第一待处理数据单元对应的数据处理标记键值对指示所述第一待处理数据单元的处理状态为处理成功，跳过所述第一待处理数据单元，读取下一个待处理数据单元的数据处理标记键值对。
[0021]在本申请第一方面的一个可选实施例中，所述方法还包括：
[0022]若所述第一待处理数据单元处理成功，更新所述第一待处理数据单元对应的数据处理标记键值对，更新后的所述第一待处理数据单元对应的数据处理标记键值对指示所述第一待处理数据单元的处理状态为处理成功。
[0023]在本申请第一方面的一个可选实施例中，所述将所述多个待处理数据单元对应的初始数据处理标记键值对存储至数据库，包括：
[0024]以所述大数据文本文件的文件名为键，以所述多个待处理数据单元对应的初始数据处理标记键值对为值，将所述多个待处理数据单元对应的初始数据处理标记键值对存储至redis中间件。
[0025]本申请实施例的第二方面提供一种大数据文件的处理装置，包括：
[0026]接收模块，用于接收数据处理任务和数据配置文件，所述数据处理任务用于处理大数据文本文件，所述数据配置文件用于指示对所述大数据文本文件进行分块处理、记录以及更新的方法；
[0027]处理模块，用于根据所述数据配置文件读取并执行所述大数据文本文件的待处理数据，同时记录数据处理状态，直至所述大数据文本文件中的所有待处理数据均处理成功。
[0028]在本申请第二方面的一个可选实施例中，所述处理模块，用于：
[0029]根据所述数据配置文件从redis中间件读取所述大数据文本文件的待处理数据。
[0030]在本申请第二方面的一个可选实施例中，所述数据配置文件包括对所述大数据文本文件进行单次处理行数的配置信息；所述处理模块，用于：
[0031]根据所述单次处理行数对所述大数据文本文件的待处理数据进行切分，得到多个待处理数据单元，每个待处理数据单元包括M行待处理数据，M为正整数；
[0032]依次读取并执行所述多个待处理数据单元，同时记录每个待处理数据单元的数据处理状态，直至所有待处理数据单元均处理成功。
[0033]在本申请第二方面的一个可选实施例中，所述数据配置文件包括记录单次处理状态的配置信息；所述大数据文件的处理装置还包括：存储模块；
[0034]处理模块，用于根据所述记录单次处理状态的配置信息，获取每个待处理数据单元对应的初始数据处理标记键值对，每个待处理数据单元对应的初始数据处理标记键值对
均指示所述待处理数据单元的处理状态为未处理；
[0035]存储模块，用于将所述多个待处理数据单元对应的初始数据处理标记键值对存储至数据库。
[0036]在本申请第二方面的一个可选实施例中，处理模块，用于：
[0037]从redis中间件中读取第一待处理数据单元对应的数据处理标记键值对，若所述数据处理标记键值对指示所述第一待处理数据单元的处理状态为处理失败或未处理，获取并执行所述第一待处理数据单元中的待处理数据；
[0038]所述第一待处理数据单元为所述多个待处理数据单元中的任意一项。
[0039]在本申请第二方面的一个可选实施例中，处理模块，用于：
[0040]若所述第一待处理数据单元对应的数据处理标记键值对指示所述第一待处理数据单元的处理状态为处理成功，跳过所述第一待处理数据单元，读取下一个待处理数据单元的数据处理标记键值对。
[0041]在本申请第二方面的一个可选实施例中，所述大数据文件的处理装置还包括：更新模块；
[0042]若所述第一待处理数据单元处理成功，更新模块，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据文件的处理方法，其特征在于，包括：接收数据处理任务和数据配置文件，所述数据处理任务用于处理大数据文本文件，所述数据配置文件用于指示对所述大数据文本文件进行分块处理、记录以及更新的方法；根据所述数据配置文件读取并执行所述大数据文本文件的待处理数据，同时记录数据处理状态，直至所述大数据文本文件中的所有待处理数据均处理成功。2.根据权利要求1所述的方法，其特征在于，所述根据所述数据配置文件读取所述大数据文本文件的待处理数据，包括：根据所述数据配置文件从redis中间件读取所述大数据文本文件的待处理数据。3.根据权利要求1或2所述的方法，其特征在于，所述数据配置文件包括对所述大数据文本文件进行单次处理行数的配置信息；所述根据所述数据配置文件读取并执行所述大数据文本文件的待处理数据，同时记录数据处理状态，直至所述大数据文本文件中的所有待处理数据均处理成功，包括：根据所述单次处理行数对所述大数据文本文件的待处理数据进行切分，得到多个待处理数据单元，每个待处理数据单元包括M行待处理数据，M为正整数；依次读取并执行所述多个待处理数据单元，同时记录每个待处理数据单元的数据处理状态，直至所有待处理数据单元均处理成功。4.根据权利要求3所述的方法，其特征在于，所述数据配置文件包括记录单次处理状态的配置信息；所述方法还包括：根据所述记录单次处理状态的配置信息，获取每个待处理数据单元对应的初始数据处理标记键值对，每个待处理数据单元对应的初始数据处理标记键值对均指示所述待处理数据单元的处理状态为未处理；将所述多个待处理数据单元对应的初始数据处理标记键值对存储至数据库。5.根据权利要求3所述的方法，其特征在于，所述依次读取并执行所述多个待处理数据单元，包括：从redis中间件中读取第一待处理数据单元对应的数据处理标记键值对，若所述数据处理标记键值对指示所述第一待处理数据单元的处理状态为处理失败或未处理，获取并执行所述第一待处理数据单元中的待处理数据；所述第一待处理数据单元为所述...

【专利技术属性】
技术研发人员：辜坤，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：