本申请涉及一种数据处理方法、装置、设备以及介质，其方法包括：获取多条数据写入请求；判断数据写入请求的数量是否超过写入请求数量阈值；若超过写入请求阈值，则将多条数据写入请求缓存至redis；当满足预设条件时，将redis中存储的所有数据写入请求批量导出，并基于导出的所有数据写入请求进行拼接，得到bulk请求，其中，预设条件包括时间达到预设时间、数据写入请求数量达到预设数量；利用bulk请求，将导出的所有数据写入请求对应的待写入数据写入磁盘。利用这种方式，有效地解决了在数据写入请求超过ES写入能力时，ES拒绝执行数据写入请求的问题，提高了ES写入能力。提高了ES写入能力。提高了ES写入能力。
【技术实现步骤摘要】
一种数据处理方法、装置、设备以及介质
[0001]本申请涉及数据处理的
，尤其是涉及一种数据处理方法、装置、设备以及介质。
技术介绍
[0002]随着互联网及信息技术的快速发展，越来越多行业的业务可以在线进行办理，例如，针对快递行业，可以办理在线理赔业务。伴随着快递行业的蓬勃发展，理赔业务的数据量也随之增长，因而，大多数企业使用ES（Elasticsearch，分布式搜索和分析引擎）的索引方式来进行数据处理，以此来提升数据处理的性能。
[0003]虽然在大多数情况下，ES的数据处理效率较高，且使用ES的项目也能够基本完成相关的数据处理功能。但是，当数据写入请求超过ES的写入能力时，ES会拒绝数据写入请求，导致数据写入异常。
[0004]因而，如何提升ES的写入能力是本领域技术人员亟待解决的问题。
技术实现思路
[0005]本申请的目的是提供一种数据处理方法、装置、设备以及介质，用于解决以上至少一项技术问题。
[0006]本申请的上述专利技术目的是通过以下技术方案得以实现的：第一方面，本申请提供一种数据处理方法，采用如下的技术方案：一种数据处理方法，所述方法包括：获取多条数据写入请求；判断数据写入请求的数量是否超过写入请求数量阈值；若超过写入请求阈值，则将所述多条数据写入请求缓存至redis；当满足预设条件时，将redis中存储的所有数据写入请求批量导出，并基于导出的所有数据写入请求进行拼接，得到bulk请求，其中，预设条件包括时间达到预设时间、数据写入请求数量达到预设数量；利用所述bulk请求，将导出的所有数据写入请求对应的待写入数据写入磁盘。
[0007]通过采用上述技术方案，若数据写入请求的数量超过写入请求数量阈值，则会将多条数据写入请求缓存至redis，当满足预设条件时，将redis中存储的所有数据写入请求批量导出并拼接成bulk请求，利用bulk请求，将导出的所有数据写入请求对应的待写入数据写入磁盘。利用这种方式，有效地解决了在数据写入请求超过ES写入能力时，ES拒绝执行数据写入请求的问题，提高了ES写入能力。
[0008]本申请在一较佳示例中可以进一步配置为：所述利用所述bulk请求，将导出的所有数据写入请求对应的待写入数据写入磁盘之后，还包括：获取待写入数据写入磁盘后的第一反馈信息，并根据所述第一反馈信息确定批量写入待写入数据是否成功执行；
若执行失败，则记录失败次数，并判断所述失败次数是否超过失败阈值；若未超过失败阈值，则重新执行所述利用所述bulk请求，将导出的所有数据写入请求对应的待写入数据写入磁盘；若超过失败阈值，则将所述bulk请求中所有数据写入请求对应的待写入数据依次写入磁盘。
[0009]通过采用上述技术方案，根据获取的第一反馈信息，判断批量写入待写入数据是否成功执行，若批量写入执行失败，且在失败阈值内，会重新执行利用bulk请求批量写入的操作；若失败次数超过失败阈值，则将批量写入ES更改为单条数据写入ES。既兼顾了利用bulk请求批量写入提升写入性能，也保证了在数据写入请求部分存在错误时，正确的数据写入请求能够正常写入。
[0010]本申请在一较佳示例中可以进一步配置为：所述将所述bulk请求中所有数据写入请求对应的待写入数据依次写入磁盘，包括：将所述bulk请求，拆分成多条目标数据写入请求；利用每一目标数据写入请求，将目标数据写入请求对应的待写入数据写入磁盘，以完成所有待写入数据的写入；获取所述每一目标数据写入请求的第二反馈信息，并根据所述第二反馈信息判断目标数据写入请求对应的待写入数据是否成功写入磁盘；若未成功写入磁盘，则将未成功写入磁盘的目标数据写入请求放置于写入失败队列，并将未成功信息记录至日志。
[0011]通过采用上述技术方案，当失败次数超过失败阈值时，将bulk请求拆分成多条目标数据写入请求，并利用每一目标数据写入请求，将目标数据写入请求对应的待写入数据写入磁盘，使得在数据写入请求部分存在错误时，正确的数据写入请求能够正常写入。执行后获取第二反馈信息，并根据第二反馈信息将未成功写入磁盘的目标数据写入请求放置于写入失败队列，未成功信息记录至日志，利用日志中记载的未成功信息能够准确得知存在错误的数据写入请求，并能够有效地采取应对措施。
[0012]本申请在一较佳示例中可以进一步配置为：所述数据处理方法，还包括：获取数据读取请求，并根据所述数据读取请求确定数据查询条件以及读取操作的索引项的数据信息；根据所述索引项的数据信息确定索引项的存储位置，并基于所述存储位置以及所述数据查询条件，确定与所述数据读取请求对应的待读取数据；将所述待读取数据发送至显示界面。
[0013]通过采用上述技术方案，根据数据读取请求确定数据查询条件以及读取操作的索引项的数据信息，并根据索引项的数据信息确定索引项的存储位置，基于存储位置以及数据查询条件，读取数据读取请求对应的待读取数据并发送至显示界面，通过这种方式能够基于数据读取请求精确地从ES中读取待读取数据。
[0014]本申请在一较佳示例中可以进一步配置为：索引项的数据信息包括特征标签，所述根据所述索引项的数据信息确定索引项的存储位置，包括：当所述特征标签为热数据标签时确定索引项的存储位置为第一位置；当所述特征标签为冷数据标签时确定索引项的存储位置为第二位置；
其中，所述热数据标签为索引项创建时长小于第一时间阈值的特性标签；所述冷数据标签为索引项创建时长不小于第一时间阈值的特性标签。
[0015]通过采用上述技术方案，根据索引项创建时长将索引项的特征标签分为热数据标签以及冷数据标签，且不同类型的特征标签存储在不同位置，以便于分类对数据进行读取，提升数据读取的速度。
[0016]本申请在一较佳示例中可以进一步配置为：所述数据处理方法，还包括：在预设时间点，查询所述特征标签为热数据标签的索引项，记为热点索引项；基于所述热点索引项，确定热点数据，并将所述热点数据加载至缓存。
[0017]通过采用上述技术方案，在预设时间点，将特征标签为热数据标签的索引项内的热点数据加载在缓存中，极大地提升了ES的读取速度。
[0018]本申请在一较佳示例中可以进一步配置为：索引项的数据信息包括分片数量，确定分片数量的方式，包括：根据数据量，调整所述分片数量，其中，数据量用于表征业务所要处理的数据量级。
[0019]通过采用上述技术方案，根据业务所需要处理的数据量，调整分片数量，提升了ES数据读取的性能。
[0020]第二方面，本申请提供一种数据处理装置，采用如下的技术方案：一种数据处理装置，包括，获取模块，用于获取多条数据写入请求；判断模块，用于判断数据写入请求的数量是否超过写入请求数量阈值；缓存模块，用于若超过写入请求阈值，则将所述多条数据写入请求缓存至redis；请求拼接模块，用于当满足预设条件时，将redis中存储的所有数据写入请求批量导出，并基于导出的所有数据写入请求进行拼接，得到bulk请求，其中，预设条件包括时间达到预设时间、数据本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取多条数据写入请求；判断数据写入请求的数量是否超过写入请求数量阈值；若超过写入请求阈值，则将所述多条数据写入请求缓存至redis；当满足预设条件时，将redis中存储的所有数据写入请求批量导出，并基于导出的所有数据写入请求进行拼接，得到bulk请求，其中，预设条件包括时间达到预设时间、数据写入请求数量达到预设数量；利用所述bulk请求，将导出的所有数据写入请求对应的待写入数据写入磁盘。2.根据权利要求1所述的数据处理方法，其特征在于，所述利用所述bulk请求，将导出的所有数据写入请求对应的待写入数据写入磁盘之后，还包括：获取待写入数据写入磁盘后的第一反馈信息，并根据所述第一反馈信息确定批量写入待写入数据是否成功执行；若执行失败，则记录失败次数，并判断所述失败次数是否超过失败阈值；若未超过失败阈值，则重新执行所述利用所述bulk请求，将导出的所有数据写入请求对应的待写入数据写入磁盘；若超过失败阈值，则将所述bulk请求中所有数据写入请求对应的待写入数据依次写入磁盘。3.根据权利要求2所述的数据处理方法，其特征在于，所述将所述bulk请求中所有数据写入请求对应的待写入数据依次写入磁盘，包括：将所述bulk请求，拆分成多条目标数据写入请求；利用每一目标数据写入请求，将目标数据写入请求对应的待写入数据写入磁盘，以完成所有待写入数据的写入；获取所述每一目标数据写入请求的第二反馈信息，并根据所述第二反馈信息判断目标数据写入请求对应的待写入数据是否成功写入磁盘；若未成功写入磁盘，则将未成功写入磁盘的目标数据写入请求放置于写入失败队列，并将未成功信息记录至日志。4.根据权利要求1至3任意一项所述的数据处理方法，其特征在于，还包括：获取数据读取请求，并根据所述数据读取请求确定数据查询条件以及读取操作的索引项的数据信息；根据所述索引项的数据信息确定索引项的存储位置，并基于所述存储位置以及所述数据查询条件，确定与所述数据读取请求对应的...
【专利技术属性】
技术研发人员：王栋，张镇，
申请(专利权)人：上海申雪供应链管理有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。