【技术实现步骤摘要】
本专利技术涉及数据传传输技术，尤其涉及一种数据传输方法、装置、设备及存储介质。
技术介绍
1、在各应用系统的开发过程中，为满足用户对数据进行批量处理、快速提取的诉求，表格数据导入导出功能即成为了一项高频的产品需求，时常出现在开发清单当中。
2、在规模化服务场景下，随着业务复杂度递增，为了提高导入导出数据的效率类似场景将越来越普遍，但如果无限制无序的集中导入导出将会给业务系统带来致命的内存耗尽问题。
技术实现思路
1、本专利技术提供一种数据传输方法、装置、设备及存储介质，以实现合理规划消费能力，避免无限制无序的集中导入导出将会给业务系统带来致命的内存耗尽问题，避免单个服务节点异常造成的数据堵塞，提高了系统稳定性。
2、第一方面，本专利技术提供了一种数据传输方法，包括：
3、获取待传输的目标数据，从所述目标数据中解析出待传输的数据行数；
4、以预设行数作为一组，计算每一组数据的数据量；
5、为每一组数据分配与该组数据的数据量匹配的消费通道；
6、将每组数据平均分配到对应的消费通道下的多个服务节点进行隔离消费。
7、可选的，在获取待传输的目标数据之前，还包括：
8、获取服务节点的注册请求；
9、基于所述注册请求在本地缓存中生成与所述服务节点唯一对应的哈希编码；
10、将所述哈希编码、所述服务节点的名称和所述服务节点的域名递交至注册中心完成注册。
11、可选的
12、向所述服务节点发送心跳信号，以监测所述服务节点是否存在异常；
13、若是，则执行故障转移策略。
14、可选的，数据传输方法还包括：
15、在待传输的目标数据为待导入的数据时，对所述目标数据进行安全监测；
16、在所述安全监测通过时，执行从所述目标数据中解析出待传输的数据行数的步骤；
17、在所述安全监测不通过时，发出业务异常提醒；
18、在待传输的目标数据为待导出的数据时，对所述目标数据进行脱敏处理，剔除敏感信息。
19、可选的，对所述目标数据进行脱敏处理，剔除敏感信息，包括：
20、从所述目标数据中查找敏感字段；
21、对所述敏感字段中存储的信息进行脱敏处理。
22、可选的，为每一组数据分配与该组数据的数据量匹配的消费通道，包括：
23、判断每一组数据的数据量是否大于预设值；
24、若是，则将该组数据分配至第一消费通道；
25、若否，则将该组数据分配至第二消费通道，其中，所述第一消费通道的处理流量大于所述第二消费通道的处理流量。
26、可选的，将每组数据平均分配到对应的消费通道下的多个服务节点进行隔离消费，包括：
27、针对每一所述服务节点，从所述服务节点分配到的数据中读取工作者的数量；
28、启动与所述工作者的数量相等的任务线程。
29、第二方面，本专利技术还提供了一种数据传输装置，包括：
30、数据获取模块，用于获取待传输的目标数据，从所述目标数据中解析出待传输的数据行数；
31、数据量计算模块，用于以预设行数作为一组，计算每一组数据的数据量；
32、通道分配模块，用于为每一组数据分配与该组数据的数据量匹配的消费通道；
33、隔离消费模块，用于将每组数据平均分配到对应的消费通道下的多个服务节点进行隔离消费。
34、第三方面，本专利技术还提供了一种电子设备，包括：
35、一个或多个处理器；
36、存储装置，用于存储一个或多个程序；
37、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术第一方面提供的数据传输方法。
38、第四方面，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术第一方面提供的数据传输方法。
39、本专利技术实施例提供的数据传输方法，包括：获取待传输的目标数据，从目标数据中解析出待传输的数据行数，以预设行数作为一组，计算每一组数据的数据量，为每一组数据分配与该组数据的数据量匹配的消费通道，将每组数据平均分配到对应的消费通道下的多个服务节点进行隔离消费，实现合理规划消费能力，避免无限制无序的集中导入导出将会给业务系统带来致命的内存耗尽问题，避免单个服务节点异常造成的数据堵塞，提高了系统稳定性。
40、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种数据传输方法，其特征在于，包括：
2.根据权利要求1所述的数据传输方法，其特征在于，在获取待传输的目标数据之前，还包括：
3.根据权利要求1所述的数据传输方法，其特征在于，还包括：
4.根据权利要求1-3任一所述的数据传输方法，其特征在于，还包括：
5.根据权利要求4所述的数据传输方法，其特征在于，对所述目标数据进行脱敏处理，剔除敏感信息，包括：
6.根据权利要求1-3任一所述的数据传输方法，其特征在于，为每一组数据分配与该组数据的数据量匹配的消费通道，包括：
7.根据权利要求1-3任一所述的数据传输方法，其特征在于，将每组数据平均分配到对应的消费通道下的多个服务节点进行隔离消费，包括：
8.一种数据传输装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的数据传输方法。
【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：
2.根据权利要求1所述的数据传输方法，其特征在于，在获取待传输的目标数据之前，还包括：
3.根据权利要求1所述的数据传输方法，其特征在于，还包括：
4.根据权利要求1-3任一所述的数据传输方法，其特征在于，还包括：
5.根据权利要求4所述的数据传输方法，其特征在于，对所述目标数据进行脱敏处理，剔除敏感信息，包括：
6.根据权利要求1-3任一所述的数据传输方...
【专利技术属性】
技术研发人员：谢方敏，周峰，郭陟，马荣茂，梁伟乐，
申请(专利权)人：广州方舟信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。