本申请涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品，涉及云计算技术领域。所述方法包括：在达到预设的写入条件的情况下，获取写数据内存中的目标交易数据；将所述目标交易数据写入文件缓存系统的分段文件中；所述分段文件用于存储多条目标交易数据；当所述文件缓存系统满足预设的提交条件时，针对所述文件缓存系统中的每个分段文件，向数据库磁盘申请存储块，并将所述分段文件存储至数据库磁盘的所述存储块中。采用本方法能够提高数据写入的效率。够提高数据写入的效率。够提高数据写入的效率。
【技术实现步骤摘要】
数据处理方法、装置、计算机设备和存储介质
[0001]本申请涉及云计算
，特别是涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
[0002]数据处理的稳定性是系统正常提供服务的基础。相关的数据处理方法为直连数据库发起数据写入。
[0003]然而，在分布式等使用场景下，数据呈爆发式增长，给存储系统带来了巨大的挑战。当数据量达到一定程度后，数据的写入性能会受到严重的影响，出现写入性能瓶颈(即写入效率低下)，从而影响到系统稳定性和用户使用体验，甚至无法正常提供服务。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种能够提高数据写入效率的数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种数据处理方法。所述方法包括：
[0006]在达到预设的写入条件的情况下，获取写数据内存中的目标交易数据；
[0007]将所述目标交易数据写入文件缓存系统的分段文件中；所述分段文件用于存储多条目标交易数据；
[0008]当所述文件缓存系统满足预设的提交条件时，针对所述文件缓存系统中的每个分段文件，向数据库磁盘申请存储块，并将所述分段文件存储至数据库磁盘的所述存储块中。
[0009]在其中一个实施例中，所述方法还包括：
[0010]响应于目标交易数据的写数据请求，将目标交易数据写入预先划分的写数据内存中。
[0011]在其中一个实施例中，所述在达到预设的写入条件的情况下，获取写数据内存中的目标交易数据包括：
[0012]在达到预设的写入时间间隔的情况下，获取写数据内存中的目标交易数据。
[0013]在其中一个实施例中，所述方法还包括：
[0014]当所述文件缓存系统中已写入完成的分段文件的数量大于预设的分段文件数量阈值、或所述文件缓存系统的未提交计时达到预设的分段文件时间阈值时，确定所述文件缓存系统满足预设的提交条件。
[0015]在其中一个实施例中，所述响应于目标交易数据的写数据请求，将目标交易数据写入预先划分的写数据内存中之后，还包括：
[0016]将所述写数据内存中的所述目标交易数据写入事务日志文件中；
[0017]在所述事务日志文件满足预设同步条件的情况下，将所述事务日志文件中的目标交易数据同步至所述数据库磁盘中。
[0018]在其中一个实施例中，所述在所述事务日志文件满足预设同步条件的情况下，将
所述事务日志文件中的目标交易数据同步至所述数据库磁盘中包括：
[0019]在所述事务日志文件满足预设同步条件的情况下，获取所述事务日志文件中的目标交易数据的行标识；所述行标识用于标识所述事务日志文件中的目标交易数据是否同步至数据库磁盘；
[0020]根据所述事务日志文件中目标交易数据的行标识，将所述事务日志文件中待同步的目标交易数据同步至所述数据库磁盘；
[0021]当所述事务日志文件中的全部目标交易数据均同步至数据库磁盘时，删除所述事务日志文件，并建立新的事务日志文件。
[0022]在其中一个实施例中，所述方法包括：
[0023]响应于读数据请求，从预先划分的读数据内存中读取数据；
[0024]若所述读数据内存中不存在所述读数据请求对应的目标交易数据，则从文件缓存系统的分段文件中读取数据；
[0025]若所述文件缓存系统的分段文件中存在所述读数据请求对应的目标交易数据，则将所述目标交易数据加载至所述读数据内存中，对所述目标交易数据进行数据读取处理，得到所述读数据请求对应的数据读取结果，并返回所述读数据请求对应的数据读取结果。
[0026]在其中一个实施例中，所述方法还包括：
[0027]若所述文件缓存系统的分段文件中不存在所述读数据请求对应的目标交易数据，则将从数据库磁盘中的读取数据，将所述目标交易数据加载至所述读数据内存中，对所述目标交易数据进行数据读取处理，得到所述读数据请求对应的数据读取结果，并返回所述读数据请求对应的数据读取结果。
[0028]在其中一个实施例中，所述若所述读数据内存中不存在所述读数据请求对应的目标交易数据，则从文件缓存系统的分段文件中读取数据包括：
[0029]若所述读数据内存中不存在所述读数据请求对应的目标交易数据，则从读取缓存文件中读取数据；
[0030]在所述读取缓存文件中存在所述读数据请求对应的目标交易数据的情况下，将在所述读取缓存文件的查询结果，作为所述读数据请求对应的数据读取结果，并返回所述读数据请求对应的数据读取结果；
[0031]若所述读取缓存文件中不存在所述读数据请求对应的目标交易数据，则从文件缓存系统的分段文件中读取数据。
[0032]在其中一个实施例中，在所述读取缓存文件中不存在所述读数据请求对应的目标交易数据的情况下，所述方法还包括：
[0033]在所述读取缓存文件中同步写入所述读数据请求对应的数据读取结果。
[0034]第二方面，本申请还提供了一种数据处理系统。所述系统包括：
[0035]写数据内存单元，用于存储目标交易数据；
[0036]文件缓存系统，用于在达到预设的写入条件的情况下，获取所述写数据内存中的目标交易数据；将所述目标交易数据写入所述文件缓存系统的分段文件中；所述分段文件用于存储多条目标交易数据；当所述文件缓存系统满足预设的提交条件时，针对所述文件缓存系统中的每个分段文件，向数据库磁盘申请存储块；
[0037]数据库磁盘，用于将所述分段文件存储至所述存储块中。
[0038]第三方面，本申请还提供了一种数据处理装置。所述装置包括：
[0039]获取模块，用于在达到预设的写入条件的情况下，获取写数据内存中的目标交易数据；
[0040]第一写入模块，用于将所述目标交易数据写入文件缓存系统的分段文件中；所述分段文件用于存储多条目标交易数据；
[0041]存储模块，用于当所述文件缓存系统满足预设的提交条件时，针对所述文件缓存系统中的每个分段文件，向数据库磁盘申请存储块，并将所述分段文件存储至数据库磁盘的所述存储块中。
[0042]在其中一个实施例中，所述装置还包括：
[0043]第二写入模块，用于响应于目标交易数据的写数据请求，将目标交易数据写入预先划分的写数据内存中。
[0044]在其中一个实施例中，所述获取模块，具体用于：
[0045]在达到预设的写入时间间隔的情况下，获取写数据内存中的目标交易数据。
[0046]在其中一个实施例中，所述装置还包括：
[0047]确定模块，用于当所述文件缓存系统中已写入完成的分段文件的数量大于预设的分段文件数量阈值、或所述文件缓存系统的未提交计时达到预设的分段文件时间阈值时，确定所述文件缓存系统满足预设的提交条件。
[0048]在其中一个实施例中，所述装置还包括：
[0049]第三写入模本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：在达到预设的写入条件的情况下，获取写数据内存中的目标交易数据；将所述目标交易数据写入文件缓存系统的分段文件中；所述分段文件用于存储多条目标交易数据；当所述文件缓存系统满足预设的提交条件时，针对所述文件缓存系统中的每个分段文件，向数据库磁盘申请存储块，并将所述分段文件存储至数据库磁盘的所述存储块中。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于目标交易数据的写数据请求，将目标交易数据写入预先划分的写数据内存中。3.根据权利要求1所述的方法，其特征在于，所述在达到预设的写入条件的情况下，获取写数据内存中的目标交易数据包括：在达到预设的写入时间间隔的情况下，获取写数据内存中的目标交易数据。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述文件缓存系统中已写入完成的分段文件的数量大于预设的分段文件数量阈值、或所述文件缓存系统的未提交计时达到预设的分段文件时间阈值时，确定所述文件缓存系统满足预设的提交条件。5.根据权利要求2所述的方法，其特征在于，所述响应于目标交易数据的写数据请求，将目标交易数据写入预先划分的写数据内存中之后，还包括：将所述写数据内存中的所述目标交易数据写入事务日志文件中；在所述事务日志文件满足预设同步条件的情况下，将所述事务日志文件中的目标交易数据同步至所述数据库磁盘中。6.根据权利要求5所述的方法，其特征在于，所述在所述事务日志文件满足预设同步条件的情况下，将所述事务日志文件中的目标交易数据同步至所述数据库磁盘中包括：在所述事务日志文件满足预设同步条件的情况下，获取所述事务日志文件中的目标交易数据的行标识；所述行标识用于标识所述事务日志文件中的目标交易数据是否同步至数据库磁盘；根据所述事务日志文件中目标交易数据的行标识，将所述事务日志文件中待同步的目标交易数据同步至所述数据库磁盘；当所述事务日志文件中的全部目标交易数据均同步至数据库磁盘时，删除所述事务日志文件，并建立新的事务日志文件。7.根据权利要求1所述的方法，其特征在于，所述方法包括：响应于读数据请求，从预先划分的读数据内存中读取数据；若所述读数据内存中不存在所述读数据请求对应的目标交易数据，则从文件缓存系统的分段文件中读取数据；若所述文件缓存系统的分段文件中存在所述读数据请求对应的目标交易数据，则将所述目标交易数据加载至所述读数据内存中，对所述目标交易数据进行数据读取处理，得到所述读数据请求对应的数据读取结果，并返回所述读数据请求对应的数据读取结果。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：若所述文...
【专利技术属性】
技术研发人员：王鹏培，赵叶红，王炳辉，易辛悦，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。