一种数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：主线程的服务接收请求数据，并进行与请求数据对应的第一数据处理；主线程的服务在请求数据为第一请求数据的情况下，将第一数据处理得到的结果数据经过内存文件队列组件持久化到本地存储设备，第一请求数据为处理过程中需要进行第一类型资源操作的请求数据；后台监听器在监听到持久化的结果数据之后，根据结果数据执行第一类型资源操作，以进行与第一请求数据对应的第二数据处理，后台监听器独立于主线程的服务。该实施方式能够从根本上提升集群整体Ops，改善对资源访问速度失衡的优化效果，无需过多硬件资源投入，并且数据更安全。并且数据更安全。并且数据更安全。

【技术实现步骤摘要】
一种数据处理方法和装置


[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法和装置。

技术介绍

[0002]在服务接口开发过程中，经常会涉及到各种外部资源，比如redis(一款开源的分布式缓存框架，内置多种缓存容器进行数据存取操作)，MQ(message queue，消息队列，用于消息排队处理的管道)等，访问这些外部资源时，由于有的资源速度快，比如redis；有的资源速度慢，比如MQ生产。这些资源在糅合到服务中时，慢资源访问会导致整体Ops(operation per second，每秒钟处理的请求操作数量，是衡量集群性能的基本指标之一)偏低，即短板效应。服务内部有的资源访问快，有的资源访问慢，导致速度匹配失衡。
[0003]目前针对资源访问速度失衡的解决方案有两种：一是异步调优，即利用线程池对慢资源进行异步处理，但此种优化在高并发且数据非常重要时是没有用的，因为线程池塞满后会依旧用主线程来执行慢资源访问操作，从而无法从根本上提升整体的Ops；二是慢资源性能优化，即对慢资源进行调优，以便使其不再成为瓶颈，以MQ生产为例，M本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：主线程的服务接收请求数据，并进行与所述请求数据对应的第一数据处理；所述主线程的服务在所述请求数据为第一请求数据的情况下，将所述第一数据处理得到的结果数据经过内存文件队列组件持久化到本地存储设备，所述第一请求数据为处理过程中需要进行第一类型资源操作的请求数据；后台监听器在监听到持久化的所述结果数据之后，根据所述结果数据执行所述第一类型资源操作，以进行与所述第一请求数据对应的第二数据处理，其中，所述后台监听器独立于所述主线程的服务。2.根据权利要求1所述的方法，其特征在于，所述将所述第一数据处理得到的结果数据经过内存文件队列组件持久化到本地存储设备，包括：通过所述内存文件队列组件将所述结果数据存放到内存队列，并在所述内存队列达到数据落盘操作的触发条件时，将所述结果数据从所述内存队列持久化到所述本地存储设备的文件队列。3.根据权利要求2所述的方法，其特征在于，所述在所述内存队列达到数据落盘操作的触发条件时，将所述结果数据从所述内存队列持久化到所述本地存储设备的文件队列，包括：在满足所述内存队列中的数据条数大于数量阈值、当前距离上次执行所述持久化操作的时长超过时长阈值二者中的至少一者时，触发将所述结果数据从所述内存队列持久化到所述本地存储设备的文件队列的操作。4.根据权利要求2或3所述的方法，其特征在于，所述主线程的服务通过所述内存文件队列组件，利用零拷贝和内存文件映射的方式将所述结果数据从所述内存队列持久化到所述本地存储设备的文件队列。5.根据权利要求1所述的方法，其特征在于，还包括：所述主线程的服务在所述请求数据为第二请求数据的情况下，根据所述结果数据执行第二类型资源操作，以进行与所述第二请求数据对应的第三数据处理，所述第二请求数据为处理过程中需要进行所述第二类型资源操作的请求数据。6.根据权利要求5所述的方法，其特征在于，还包括：所述主线程的服务根据所述请求数据在处理过程中需要操作的资源对应的资源操作速度，判定所述请求数据为所述第一请求数据或所述第二请求数据。7.根据权利要求1所述的方法，其特征在于，所述后台监听器通过独立于所述主线程的子线程执行所述第一类型资源操作，且所述子线程的数量可动态增减。8.一种数据处理装置，其特征在于，包括：服务模块，用于接收请求数据，并进行与所述请求数据对应的第一数据处理；在...

【专利技术属性】
技术研发人员：石朝阳，张衡，赵辉，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：