本申请提供数据处理方法、装置、电子设备及可读存储介质，所述方法包括：由数据分流系统获取所述数据提供方针对所述数据分流服务的调用请求；所述调用请求包括数据；响应于所述调用请求，在所述数据分流服务包括预设处理的情形下，针对所述数据进行所述预设处理，以及，在所述数据分流服务包括预设分流流程的情形下，按照所述预设分流流程，将所述数据分流至至少一个消息队列。通过这种方式，解耦数据提供方与消息队列的交互，减少数据提供方的维护成本。护成本。护成本。
【技术实现步骤摘要】
数据处理方法、装置、电子设备及可读存储介质
[0001]本申请涉及大数据
，尤其涉及数据传输领域中的数据交换技术。本申请提出一种数据处理方法、装置、电子设备及可读存储介质。
技术介绍
[0002]在数据的“生产
‑
消费”场景，数据提供方通常可以提供数据，与数据提供方对应的数据使用方，通常可以获取由所述数据提供方提供的数据，并针对获取到的数据进一步处理。
[0003]例如，与数据提供方对应的业务系统，可以根据由数据使用方提供的数据处理需求，对生产的数据进行对应的数据处理，并将处理后的数据写入消息队列；进一步地，所述数据处理系统可以从所述消息队列中读取数据。
[0004]由于数据提供方可能会对接多个不同的数据使用方，因此数据提供方需要配置多个消息队列将数据分流至不同的数据使用方，当数据流向变化时，需要由数据提供方重新配置消息队列，增加了数据生产系统的维护成本。
技术实现思路
[0005]本申请提供一种数据处理方法，应用于数据分流系统，所述应用于数据分流系统，所述数据分流系统对接了数据提供方；所述数据分流系统包括数据分流服务；所述数据分流服务包括针对数据的预设处理和/或分流流程，所述方法包括：
[0006]获取所述数据提供方针对所述数据分流服务的调用请求；所述调用请求包括数据；
[0007]响应于所述调用请求，在所述数据分流服务包括预设处理的情形下，针对所述数据进行所述预设处理，以及，在所述数据分流服务包括预设分流流程的情形下，按照所述预设分流流程，将所述数据分流至至少一个消息队列。
[0008]可选的，所述方法还包括：
[0009]获取所述数据提供方针对所述数据分流服务的授权请求；所述授权请求包括所述数据提供方的身份标识；
[0010]基于所述身份标识向所述数据提供方授权所述数据分流服务的调用权限，并为所述数据提供方生成与所述调用权限对应的授权凭证；
[0011]向所述数据生产系统发送所述授权凭证。
[0012]可选的，所述授权请求包括所述数据提供方的身份标识，以及与所述数据提供方从所述至少一个消息队列中指定的至少部分消息队列的队列标识；
[0013]基于所述身份标识向所述数据提供方授权所述数据分流服务的调用权限，包括：
[0014]基于所述身份标识和所述至少部分消息队列的队列标识，向所述数据提供方授权所述至少部分消息队列的调用权限。
[0015]可选的，基于所述身份标识向所述数据提供方授权所述数据分流服务的调用权
限，包括：
[0016]基于所述身份标识向所述数据提供方授权，由所述数据分流服务从所述至少一个消息队列中指定的至少部分消息队列的调用权限。
[0017]可选的，所述授权凭证包括与所述至少一个消息队列对应的加密密钥；
[0018]按照所述预设分流流程，将所述数据分流至至少一个消息队列，包括：
[0019]基于与所述至少一个消息队列对应的加密密钥，分别对所述数据进行加密，并将加密后的数据分别分流至所述至少一个消息队列。
[0020]可选的，所述授权凭证还用于指示对所述数据进行加密的加密算法；
[0021]照所述预设分流流程，将所述数据分流至至少一个消息队列，包括：
[0022]基于与所述至少一个消息队列对应的加密密钥，按照与所述至少一个消息队列对应的加密算法，分别对所述数据进行加密，并将加密后的所述数据分别分流至所述至少一个消息队列。
[0023]可选的，所述方法还包括：
[0024]获取由数据使用方提供的处理需求；
[0025]响应于所述处理需求，为所述数据使用方配置数据分流服务。
[0026]可选的，所述预设分流流程包括并行或串行，
[0027]所述按照所述预设分流流程，将所述数据分流至至少一个消息队列，包括：
[0028]在串行的情形下，基于预设的分流顺序，将所述数据分流至至少一个消息队列；
[0029]在并行的情形下，将所述数据同时分流至至少一个消息队列。
[0030]可选的，所述预设处理包括将数据格式处理为所述至少一个消息队列所采用的数据格式；
[0031]所述针对所述数据进行所述预设处理，包括：
[0032]将所述数据分别处理为所述至少一个消息队列所采用的数据格式。
[0033]可选的，所述数据分流系统还包括用于进行所述预设处理的数据模板；所述数据模板还用于指示所述数据使用方针对所述数据进行处理时所采用的数据字段；
[0034]所述针对所述数据进行所述预设处理，包括：
[0035]从所述数据中提取所述数据模板所指示的数据字段；
[0036]将提取出的数据字段按照所述数据模板所指示的数据格式进行拼接处理。
[0037]可选的，所述至少一个消息队列分别对应不同的地址；或者，
[0038]所述至少一个消息队列对应相同的地址，并且对应不同的队列主题；
[0039]所述将所述数据分流至至少一个消息队列，包括：
[0040]将所述数据分别分流至所述不同的消息队列的地址对应的消息队列；或，
[0041]将所述数据分别分流至所述相同的消息队列的地址，但不同的队列主题对应的消息队列。
[0042]可选的，所述方法还包括：
[0043]获取由数据使用方提供的处理需求；
[0044]响应于所述处理需求，为所述数据使用方配置数据分流服务。
[0045]本申请还提供一种数据处理装置，应用于数据分流系统，所述数据分流系统对接了数据提供方；所述数据分流系统包括数据分流服务；所述数据分流服务包括针对数据的
预设处理和/或分流流程，所述装置包括：
[0046]请求调用单元，用于获取所述数据提供方针对所述数据分流服务的调用请求；所述调用请求包括数据；
[0047]数据分流单元，用于响应于所述调用请求，在所述数据分流服务包括预设处理的情形下，针对所述数据进行所述预设处理，以及，在所述数据分流服务包括预设分流流程的情形下，按照所述预设分流流程，将所述数据分流至至少一个消息队列。
[0048]本申请还提供一种电子设备，包括通信接口、处理器、存储器和总线，所述通信接口、所述处理器和所述存储器之间通过总线相互连接；
[0049]所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，执行所述方法。
[0050]本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有机器可读指令，所述机器可读指令在被处理器调用和执行时，实现所述方法。
[0051]在以上实施例记载的方案中，在数据分流系统上配置了一个具有多个消息队列的数据分流服务，由数据分流服务将数据分流至消息队列，避免数据提供方直接向消息队列里写入数据,解耦数据提供方与消息队列的交互。当数据流向变化时，只需对数据分流系统配置的数据分流服务进行更改，无需数据提供方进行额外的操作，以本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据分流系统，所述数据分流系统对接了数据提供方；所述数据分流系统包括数据分流服务；所述数据分流服务包括针对数据的预设处理和/或分流流程，所述方法包括：获取所述数据提供方针对所述数据分流服务的调用请求；所述调用请求包括数据；响应于所述调用请求，在所述数据分流服务包括预设处理的情形下，针对所述数据进行所述预设处理，以及，在所述数据分流服务包括预设分流流程的情形下，按照所述预设分流流程，将所述数据分流至至少一个消息队列。2.根据权利要求1所述的方法，其特征在于，在获取所述数据提供方针对所述数据分流服务的调用请求之前，所述方法还包括：获取所述数据提供方针对所述数据分流服务的授权请求；所述授权请求包括所述数据提供方的身份标识；基于所述身份标识向所述数据提供方授权所述数据分流服务的调用权限，并为所述数据提供方生成与所述调用权限对应的授权凭证；向所述数据生产系统发送所述授权凭证。3.根据权利要求2所述的方法，其特征在于，所述授权请求包括所述数据提供方的身份标识，以及与所述数据提供方从所述至少一个消息队列中指定的至少部分消息队列的队列标识；基于所述身份标识向所述数据提供方授权所述数据分流服务的调用权限，包括：基于所述身份标识和所述至少部分消息队列的队列标识，向所述数据提供方授权所述至少部分消息队列的调用权限。4.根据权利要求2所述的方法，其特征在于，基于所述身份标识向所述数据提供方授权所述数据分流服务的调用权限，包括：基于所述身份标识向所述数据提供方授权，由所述数据分流服务从所述至少一个消息队列中指定的至少部分消息队列的调用权限。5.根据权利要求2所述的方法，其特征在于，所述授权凭证包括与所述至少一个消息队列对应的加密密钥；按照所述预设分流流程，将所述数据分流至至少一个消息队列，包括：基于与所述至少一个消息队列对应的加密密钥，分别对所述数据进行加密，并将加密后的数据分别分流至所述至少一个消息队列。6.根据权利要求2所述的方法，其特征在于，所述授权凭证还用于指示对所述数据进行加密的加密算法；照所述预设分流流程，将所述数据分流至至少一个消息队列，包括：基于与所述至少一个消息队列对应的加密密钥，按照与所述至少一个消息队列对应的加密算法，分别对所述数据进行加密，并将加密后的所述数据分别分流至所述至少一个消息队列。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取由数据使用方提供的处理需求；响应于所述处理需求，为所述...
【专利技术属性】
技术研发人员：张颖，王鹏，邢炳塞，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。