一种微服务中使用数据处理服务导入导出大量数据的方法技术

本发明专利技术属于微服务技术领域，尤其为：一种微服务中使用数据处理服务导入导出大量数据的方法，包括客户端模块、微服务集群数据存储集群、中间集散群、操作日志服务集群，所述客户端模块包括APP、ios、android，所述中间集散群包括canal、消息集群、ES集群。本发明专利技术无损性能快速收集了微服务环境中业务操作的所有数据变更记录，让业务数据变更可追溯，可快速定位问题，快速恢复数据担供数据支撑，一个业务流程复杂的重要业务操作接口中，发起延时记录操作日志任务，操作日志服务在后台异步采集了这些数据变更并存储起来，为业务操作保驾护航，为业务操作快速恢复、快速回滚提供数据支持。快速回滚提供数据支持。快速回滚提供数据支持。

【技术实现步骤摘要】
一种微服务中使用数据处理服务导入导出大量数据的方法


[0001]本专利技术涉及微服务
，尤其涉及一种微服务中使用数据处理服务导入导出大量数据的方法。

技术介绍

[0002]业务服务需要实现大量数据的导入、导出时，因为涉及数据量大时，文件及数据处理时间会比较长，为了不影响用户在线的交互体验，传统的导入处理方法：在导入时会设置客户上传文件操作完成后立刻返回消息，服务端异步完成实际的数据操作，导入的完整过程一般需要十个步骤：
[0003]1.导入数据的文件上传，上传成功后台异步执行后续的业务。
[0004]2.上传文件内容解析(列类型转换，数据字典转换)。
[0005]3.文件内容转换为业务实体列表。
[0006]4.业务实体的数据校验(非空字段校验、数据范围校验)。
[0007]5.入库检查(数据约束检查、数据唯一性校验)。
[0008]6.校验通过的业务实体数据存储入库
[0009]7.生成包含导入数据产生信息的记录文件(例如：某数据失败原因，某数据导入成功)。
[0010]8.上传导入数据记录文件到文件存储服务器。
[0011]9.生成导入数据记录文件，提供文件下载。
[0012]10.通知客户导入成功，客户下载导入数据记录文件。
[0013]传统的导出处理方法：设置客户点击导出后立刻返回消息，服务端异步生成数据后让客户再去下载导出文件，导出数据完整过程一般需要六个步骤：
[0014]1.按页面提供的查询条件查询所有数据(不分页)。
[0015]2.数据转换为导出数据格式(类型转换，数据字典转换)。
[0016]3.生成导出数据对应的导出数据文件。
[0017]4.上传导出数据文件到文件存储服务器。
[0018]5.生成导出数据文件记录，提供文件下载。
[0019]6.通知客户导出成功，客户下载导出数据文件。
[0020]传统的方法中，业务服务开发需要的步骤较多，编写代码量较大，且输入输出不固定，不好设置单元测试，接口稳定性不好。
[0021]因此，我们提出了一种微服务中使用数据处理服务导入导出大量数据的方法用于解决上述问题。

技术实现思路

[0022]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种微服务中使用数据处理服务导入导出大量数据的方法。
[0023]为了实现上述目的，本专利技术采用了如下技术方案：一种微服务中使用数据处理服务导入导出大量数据的方法，包括客户端、浏览器中台服务集群、微服务集群、数据储存集群、中台服务集群，所述浏览器中台服务集群包括数据处理服务一、数据处理服务二，所述微服务集群包括业务服务一、业务服务二，所述中台服务集群包括消息服务集群、文件储存服务集群，所述方法具体包括：
[0024]S1、客户端向数据处理服务一、数据处理服务二发起调用请求；
[0025]S2、浏览器中台服务集群中的数据处理服务一、数据处理服务二发起导入、导出任务，并返回结果给客户端；
[0026]S3、数据处理服务一、数据处理服务二收到待处理任务，调用业务服务一、业务服务二入库数据、查询数据；
[0027]S4、数据处理服务一、数据处理服务二生成数据文件，存储到文件储存服务集群；
[0028]S5、数据处理服务一、数据处理服务二通知客户端到文件储存服务集群服务中下载数据文件。
[0029]优选的，所述客户端中包含有app，所述app为微信和ios。
[0030]优选的，所述客户端还包括ios、android。
[0031]优选的，所述数据储存集群包括业务数据库一、业务数据库二、中台数据库、。
[0032]优选的，所述客户端的输出端口与浏览器中台服务集群的输入端口之间信号连接，所述浏览器中台服务集群与微服务集群之间互为信号输出与输入，所述业务服务一与业务数据库一之间互为信号输出与输入，所述业务服务二与业务数据库二之间互为信号输出与输入。
[0033]优选的，所述中台数据库与数据处理服务一之间互为信号输出与输入，所述中台数据库与数据处理服务二之间互为信号输出与输入。
[0034]优选的，所述数据处理服务一的信号输出端口与中台服务集群的信号输入端口之间信号连接，所述中台服务集群的信号输入端口与客户端的信号输入端口之间信号连接，所述数据处理服务二与消息服务集群之间互为信号输出与输入。
[0035]与现有技术相比，本专利技术的有益效果是：
[0036]业务服务接口开发无需与前端实现交互，交互操作全部由数据处理服务实现，业务平台只需要针对具体的业务逻辑，实现业务的校验、数据入库、数据查询等工作，其它全部由数据处理服务完成，原来开发一个大数据量的数据导入导出服务接口需要编写大量的代码，耗费大量的时间，使用该方法后，只需要编写少量代码，很短的时间即可实现。由于业务实现接口的出参入参明确，所以单完测试也非常好做，可以进一步增强了代码的稳定性。
附图说明
[0037]图1为本专利技术提出的一种微服务中使用数据处理服务导入导出大量数据的方法的架构图；
[0038]图2为本专利技术提出的一种微服务中使用数据处理服务导入导出大量数据的方法的传统导入数据业务流程图；
[0039]图3为本专利技术提出的一种微服务中使用数据处理服务导入导出大量数据的方法的微服务中使用数据处理服务导入数据业务流程图；
[0040]图4为本专利技术提出的一种微服务中使用数据处理服务导入导出大量数据的方法的传统导出数据业务流程；
[0041]图5为本专利技术提出的一种微服务中使用数据处理服务导入导出大量数据的方法的微服务中使用数据处理服务导出数据业务流程。
[0042]图中：1、客户端；11、浏览器；12、微信；13、ios；14、android；2、中台服务集群；21、数据处理服务一；22、数据处理服务二；3、微服务集群；31、业务服务一；32、业务服务二；4、数据储存集群；41、业务数据库一；42、业务数据库二；43、中台数据库；5、中台服务集群；51、消息服务集群；52、文件储存服务集群。
具体实施方式
[0043]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0044]实施例
[0045]参考图1，本实施例中提出了一种微服务中使用数据处理服务导入导出大量数据的方法，包括客户端1、浏览器中台服务集群2、微服务集群3、数据储存集群4、中台服务集群5，浏览器中台服务集群2包括数据处理服务一21、数据处理服务二22，微服务集群3包括业务服务一31、业务服务二32，中台服务集群5包括消息服务集群51、文件储存服务集群52，方法具体包括：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种微服务中使用数据处理服务导入导出大量数据的方法，包括客户端(1)、浏览器中台服务集群(2)、微服务集群(3)、数据储存集群(4)、中台服务集群(5)，其特征在于，所述浏览器中台服务集群(2)包括数据处理服务一(21)、数据处理服务二(22)，所述微服务集群(3)包括业务服务一(31)、业务服务二(32)，所述中台服务集群(5)包括消息服务集群(51)、文件储存服务集群(52)，所述方法具体包括：S1、客户端(1)向数据处理服务一(21)、数据处理服务二(22)发起调用请求；S2、浏览器中台服务集群(2)中的数据处理服务一(21)、数据处理服务二(22)发起导入、导出任务，并返回结果给客户端(1)；S3、数据处理服务一(21)、数据处理服务二(22)收到待处理任务，调用业务服务一(31)、业务服务二(32)入库数据、查询数据；S4、数据处理服务一(21)、数据处理服务二(22)生成数据文件，存储到文件储存服务集群(52)；S5、数据处理服务一(21)、数据处理服务二(22)通知客户端(1)到文件储存服务集群(52)服务中下载数据文件。2.根据权利要求1所述的一种微服务中使用数据处理服务导入导出大量数据的方法，其特征在于，所述客户端(1)中包含有app，所述app为微信(12)和ios(13)。3.根据权利要求1所述的一种微服务中使用数据处理服务导入导出大量数据的方法，其特...

【专利技术属性】
技术研发人员：刘佳文，黎健，刘雅玲，
申请(专利权)人：深圳市平行线信息科技有限公司，
类型：发明
国别省市：