一种数据处理方法及系统技术方案

本申请涉及一种数据处理方法及系统，涉及数据处理的技术领域，其方法包括在接收到数据时，根据所述数据所属的业务场景类型将所述数据发送至所述业务场景类型中的Redis列队进行攒批；在所述Redis列队攒批结束时，取出Redis列队中的所有数据并将Redis列队当前攒批的所有数据清空使得所述Redis列队能够重新用于攒批数据；基于取出的所有数据生成JSON文件；将所述JSON文件上传至云服务平台并获取所述云服务平台反馈的上传结果，在所述JSON文件上传成功时获取所述JSON文件所对应的网络地址；以及，将所述网络地址加入消息队列并发送至需要消费的客户端进行监听并消费。本申请具有更好地实现数据的流批处理的效果。地实现数据的流批处理的效果。地实现数据的流批处理的效果。

【技术实现步骤摘要】
一种数据处理方法及系统


[0001]本申请涉及数据处理的
，尤其是涉及一种数据处理方法。

技术介绍

[0002]随着社会的不断进步和发展，计算机的应用越来越广泛，所处理的数据量越来越大。
[0003]数据批处理，一个是表示一次性执行一批数据的处理逻辑。数据的流处理，是指的把数据转换成数据流格式进行传输和处理。目前，对流式数据进行攒批的场景很多，现有技术中，对流式数据进行攒批时稳定性较差，不利于数据的处理。如何更好地实现数据的流批处理是需要攻克的技术难点。

技术实现思路

[0004]为了更好地实现数据的流批处理，本申请提供了一种数据处理方法及系统。
[0005]第一方面，本申请提供的一种数据处理方法采用如下的技术方案。
[0006]一种数据处理方法，包括：在接收到数据时，根据所述数据所属的业务场景类型将所述数据发送至所述业务场景类型中的Redis列队进行攒批；在所述Redis列队攒批结束时，取出Redis列队中的所有数据并将Redis列队当前攒批的所有数据清空使得所述Redis列队能够重新用于攒批数据；基于取出的所有数据生成JSON文件；将所述JSON文件上传至云服务平台并获取所述云服务平台反馈的上传结果，在所述JSON文件上传成功时获取所述JSON文件所对应的网络地址；以及，将所述网络地址加入消息队列并发送至需要消费的客户端进行监听并消费；所述客户端根据所述消息队列中的所述网络地址拉取所述云服务平台中保存的JSON文件，解析并消费。
[0007]通过采用上述技术方案，在处理器接受到新的数据时，处理器根据数据所属的业务场景类型将数据发送至业务场景类型中的Redis列队进行攒批；在Redis列队攒批结束时，取出Redis列队中的所有数据；处理器基于取出的所有数据生成JSON文件；处理器将生成的JSON文件上传至云服务平台后同步获取云服务平台反馈的结果，在在JSON文件上传成功时获取JSON文件所对应的网络地址；处理器将网络地址加入消息队列并发送至需要消费这些数据的客户端进行监听并消费；客户端获取消息队列后根据消息队列中的网络地址拉取云服务平台中保存的JSON文件，解析并消费；通过上述设置，统一实现了流转批处理的技术场景，能够更好地实现数据的流批处理。
[0008]可选的，判断所述Redis列队攒批是否结束的方法包括：在Redis列队接收到数据时，对Redis列队中的数据数进行累加得到数据量总和；以及，
判断所述数据量总和是否大于预设数目；如果是，则判定所述Redis列队攒批已经结束。
[0009]可选的，判断所述Redis列队攒批是否结束的方法还包括：在Redis列队接收到数据时，记录最近接收的数据的时刻；判断在预设时长内是否接收到下一数据；如果否，则判定所述Redis列队攒批已经结束。
[0010]可选的，所述客户端根据所述消息队列中的所述网络地址拉取所述云服务平台中保存的JSON文件，解析并消费，包括：基于dataFlow提供的API监听所述消息队列中的批处理消息；判断批处理消息的网络地址是否为所需的JSON文件的网络地址；如果是，下载并解析相对应的JSON文件；以及，通过数据消费方法进行数据消费。
[0011]可选的，所述数据消费方法的配置方法包括：通过装饰器模式构造至少一个抽象装饰监听器；以及，为需要消费数据的客户端配置所述抽象装置监听器并重写所述抽象装置监听器中的数据消费方法。
[0012]可选的，选用rocketmq用做消息队列。
[0013]可选的，所述云服务平台包括阿里云、腾讯云、华为云、谷歌云、微软云中的至少一个。
[0014]第二方面，本申请提供的一种数据处理方法采用如下的技术方案。
[0015]一种数据处理系统，包括：第一处理模块，用于：在接收到数据时，根据所述数据所属的业务场景类型将所述数据发送至所述业务场景类型中的Redis列队进行攒批；第二处理模块，用于：在所述Redis列队攒批结束时，取出Redis列队中的所有数据并Redis列队当前攒批的所有数据清空使得所述Redis列队能够重新用于攒批数据；第三处理模块，用于：基于取出的所有数据生成JSON文件；第四处理模块，用于：将所述JSON文件上传至云服务平台并获取所述云服务平台反馈的上传结果，在所述JSON文件上传成功时获取所述JSON文件所对应的网络地址；以及，第五处理模块，用于：将所述网络地址加入消息队列并发送至需要消费的客户端进行监听并消费；所述客户端根据所述消息队列中的所述网络地址拉取所述云服务平台中保存的JSON文件，解析并消费。
[0016]第三方面，本申请公开一种计算机设备，包括存储器和服务器，所述存储器上存储有被服务器加载并执行上述的任一方法的计算机程序。
[0017]第四方面，本申请公开一种计算机可读存储介质，存储有能够被服务器加载并执行上述的任一方法的计算机程序。
附图说明
[0018]图1是本申请实施例的一种数据处理方法的方法流程图；图2是本申请实施例的一种数据处理系统的系统框图；
图中，201、第一处理模块；202、第二处理模块；203、第三处理模块；204、第四处理模块；205、第五处理模块。
具体实施方式
[0019]下面结合附图和具体实施例对本申请作进一步说明：首先，这里需要说明的是：在本申请的描述中，如出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等方位词，其所指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制；此外，如出现术语“第一”、“第二”、“第三”等数字量词仅用于描述目的，而不能理解为指示或暗示相对重要性。另外，在本申请中，除非另有明确的规定和限定，如出现术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接、过盈配合、过渡配合等限位连接，或一体连接；可以是直接相连，也可以通过中间媒介间接相连；因此对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
[0020]本申请实施例公开一种数据处理方法。参照图1，作为一种数据处理方法的一种实施方式，包括以下步骤：步骤101、在接收到数据时，根据数据所属的业务场景类型将数据发送至业务场景类型中的Redis列队进行攒批。
[0021]具体地，Redis（Remote Dictionary Server ，远程字典服务)。Redis是目前最受欢迎的kv类数据库。在处理器接受到新的数据时，处理器根据数据所属的业务场景类型将数据发送至业务场景类型中的Redis列队进行攒批。应当理解，一个类型的业务场景或者一个攒批场景对应一个Redis列队，Redis列队中每一条数据为java对象转string。例如，存在50条审批数据需要转为批处理，则50条审批数据攒批至一个单独的Redis列队中。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：在接收到数据时，根据所述数据所属的业务场景类型将所述数据发送至所述业务场景类型中的Redis列队进行攒批；在所述Redis列队攒批结束时，取出Redis列队中的所有数据并将Redis列队当前攒批的所有数据清空使得所述Redis列队能够重新用于攒批数据；基于取出的所有数据生成JSON文件；将所述JSON文件上传至云服务平台并获取所述云服务平台反馈的上传结果，在所述JSON文件上传成功时获取所述JSON文件所对应的网络地址；以及，将所述网络地址加入消息队列并发送至需要消费的客户端进行监听并消费；所述客户端根据所述消息队列中的所述网络地址拉取所述云服务平台中保存的JSON文件，解析并消费。2.根据权利要求1所述的一种数据处理方法，其特征在于，判断所述Redis列队攒批是否结束的方法包括：在Redis列队接收到数据时，对Redis列队中的数据数进行累加得到数据量总和；以及，判断所述数据量总和是否大于预设数目；如果是，则判定所述Redis列队攒批已经结束。3.根据权利要求2所述的一种数据处理方法，其特征在于，判断所述Redis列队攒批是否结束的方法还包括：在Redis列队接收到数据时，记录最近接收的数据的时刻；判断在预设时长内是否接收到下一数据；如果否，则判定所述Redis列队攒批已经结束。4.根据权利要求3所述的一种数据处理方法，其特征在于，所述客户端根据所述消息队列中的所述网络地址拉取所述云服务平台中保存的JSON文件，解析并消费，包括：基于dataFlow提供的API监听所述消息队列中的批处理消息；判断批处理消息的网络地址是否为所需的JSON文件的网络地址；如果是，下载并解析相对应的JSON文件；以及，通过数据消费方法进行数...

【专利技术属性】
技术研发人员：罗国帝，
申请(专利权)人：深圳市必凡娱乐科技有限公司，
类型：发明
国别省市：