一种无服务器FaaS架构税务大数据系统技术方案

本发明专利技术公开了一种无服务器FaaS架构税务大数据系统，包括依次连接的客户端、处理系统、API网关、抽取系统、HDFS；处理系统包括增值税发票数据处理模块、普通发票数据处理模块、电子发票数据处理模块、商品分类处理模块、进销项处理模块；抽取系统包括增值税发票数据抽取模块、普通发票数据抽取模块、电子发票数据抽取模块、商品分类信息抽取模块、进销项信息抽取模块。本发明专利技术不再需要重复造轮子，需要什么功能直接集成调用即可，也无需考虑整体的性能，只专注于业务代码的实现；基于容器技术，更容易横向扩张；自动化的弹性扩展、减少了打包和部署的复杂度、可以快速发布上线；基于函数，更容易发现程序的BUG和更容易解决BUG,提高解决问题的效率。

A tax free big data system without server FaaS architecture

The invention discloses a large tax data system without server FaaS structure, which comprises a client, a processing system, an API gateway, an extraction system and a HDFS connected sequentially; and the processing system comprises a VAT invoice data processing module, a general invoice data processing module, an electronic invoice data processing module, a commodity classification processing module, and a data processing module. The system includes VAT invoice data extraction module, general invoice data extraction module, electronic invoice data extraction module, commodity classification information extraction module, purchase and sale information extraction module. The invention does not need to re-create wheels any more, what functions need to be directly integrated and invoked, nor does it need to consider the overall performance, but only focuses on the implementation of business code; based on container technology, it is easier to expand horizontally; automatic flexible expansion, reduces the complexity of packaging and deployment, and can be quickly released online; based on the container technology, it is easier to expand horizontally; Function, it is easier to find the BUG of the program and easier to solve BUG, and improve the efficiency of solving the problem.

【技术实现步骤摘要】
一种无服务器FaaS架构税务大数据系统
本专利技术属于大数据领域，尤其涉及一种无服务器FaaS架构税务大数据系统。
技术介绍
目前大数据项目开发整个流程是：开发人员必须手动在各个物理节点上安装大数据平台软件栈Hadoop、Hbase、Spark、Storm,Kafka等；开发人员通过各中脚本语言或编程语言(如Scala,Java，Shell等)开发ETL、机器学习；开发人员将编译后的代码打包成jar或war文件上传到服务器上，通过shell脚本、spark命令或应用服务器运行jar/war程序。但是大数据平台多为开源组件，版本多而杂，组件间及操作系统的依赖很重，平台的迁移和升级问题一直是开源软件最大的痛，集群规模的扩张和运维费时费力，严重影响工作效率；另一方面：大数据ETL开发，机器学习脚本多，语言多，同时又是海量数据，迭代计算，造成异常数据、异常处理困难重重，海量数据抽取和机器学习中迭代计算时经常发现OOM的问题或磁盘空间不足导致运行程序出错，造成开发人员必须重新申请资源或者通过删除历史日志等处理方法去解决问题，造成效率低下和重复工作。
技术实现思路
本专利技术的目的在于克服现有技术存在的以上问题，提供一种无服务器FaaS架构税务大数据系统，避免效率低下和重复工作。为实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：一种无服务器FaaS架构税务大数据系统，包括依次连接的客户端、处理系统、API网关、抽取系统、HDFS；所述处理系统包括增值税发票数据处理模块、普通发票数据处理模块、电子发票数据处理模块、商品分类处理模块、进销项处理模块；所述抽取系统包括增值税发票数据抽取模块、普通发票数据抽取模块、电子发票数据抽取模块、商品分类信息抽取模块、进销项信息抽取模块；所述增值税发票数据处理模块用于工作人员对来自客户端的增值税发票数据进行处理并发送至API网关；普通发票数据处理模块用于工作人员对来自客户端的普通发票数据进行处理，并形成增值税发票处理数据发送至API网关；电子发票数据处理模块用于工作人员对来自客户端的电子发票数据进行处理，并形成电子发票处理数据发送至API网关；商品分类处理模块用于工作人员对来自客户端的商品分类数据进行处理，并形成商品分类处理数据发送至API网关；进销项处理模块用于工作人员对来自客户端的进销项数据进行处理，并形成进销项处理数据发送至API网关；所述增值税发票数据抽取模块用于对API网关中的增值税发票处理数据进行抽取并发送至HDFS；普通发票数据抽取模块用于对API网关中的普通发票处理数据进行抽取并发送至HDFS；电子发票数据抽取模块用于对API网关中的电子发票处理数据进行抽取并发送至HDFS；商品分类信息抽取模块用于对API网关中的商品分类处理数据进行抽取并发送至HDFS；进销项信息抽取模块用于对API网关中的进销项处理数据进行抽取并发送至HDFS。进一步地，所述抽取系统采用FaaS函数进行数据抽取。本专利技术的有益效果是：1、减轻负担：不再需要重复造轮子，需要什么功能直接集成调用即可，也无需考虑整体的性能，只专注于业务代码的实现。2、易于扩展：基于容器技术，更容易横向扩张。3、简化管理：自动化的弹性扩展、减少了打包和部署的复杂度、可以快速发布上线。4、异常处理能力：基于函数，更容易发现程序的BUG和更容易解决BUG,提高解决问题的效率。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术的系统结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。如图1所示的一种无服务器FaaS架构税务大数据系统，包括依次连接的客户端、处理系统、API网关、抽取系统、HDFS；处理系统包括增值税发票数据处理模块、普通发票数据处理模块、电子发票数据处理模块、商品分类处理模块、进销项处理模块；抽取系统包括增值税发票数据抽取模块、普通发票数据抽取模块、电子发票数据抽取模块、商品分类信息抽取模块、进销项信息抽取模块，抽取系统采用FaaS函数进行数据抽取。增值税发票数据处理模块用于工作人员对来自客户端的增值税发票数据进行处理并发送至API网关；普通发票数据处理模块用于工作人员对来自客户端的普通发票数据进行处理，并形成增值税发票处理数据发送至API网关；电子发票数据处理模块用于工作人员对来自客户端的电子发票数据进行处理，并形成电子发票处理数据发送至API网关；商品分类处理模块用于工作人员对来自客户端的商品分类数据进行处理，并形成商品分类处理数据发送至API网关；进销项处理模块用于工作人员对来自客户端的进销项数据进行处理，并形成进销项处理数据发送至API网关。增值税发票数据抽取模块用于对API网关中的增值税发票处理数据进行抽取并发送至HDFS；普通发票数据抽取模块用于对API网关中的普通发票处理数据进行抽取并发送至HDFS；电子发票数据抽取模块用于对API网关中的电子发票处理数据进行抽取并发送至HDFS；商品分类信息抽取模块用于对API网关中的商品分类处理数据进行抽取并发送至HDFS；进销项信息抽取模块用于对API网关中的进销项处理数据进行抽取并发送至HDFS。无服务器不是说没有服务器参与，而是它通过将复杂的服务器架构透明化，通过容器技术，编排技术，函数技术，使开发人员专注于“要做什么”，从而强调了减少开发者对服务器等计算资源的关注、工作粒度从服务器切换到任务的思想。FaaS拥有下面的特点：1、FaaS里的应用逻辑单元都可以看作是一个函数，开发人员只关注如何实现这些逻辑，而不用提前考虑性能优化，让工作聚焦在这个函数里，而非应用整体。2、FaaS是无状态的，天生满足云原生(CloudNativeApp)应用该满足的12因子(12Factors)中对状态的要求。无状态意味着本地内存、磁盘里的数据无法被后续的操作所使用。大部分的状态需要依赖于外部存储，比如数据库、网络存储等。3、FaaS的函数应当可以快速启动执行，并拥有短暂的生命周期。函数在有限的时间里启动并处理任务，并在返回执行结果后终止。如果它执行时间超过了某个阈值，也应该被终止。4、FaaS函数启动延时受很多因素的干扰。5、FaaS需要借助于APIGateway将请求的路由和对应的处理函数进行映射，并将响应结果代理返回给调用方。容器技术是轻量级的操作系统级虚拟化，通过镜像安装运行大数据平台工具,支持自动化部署,弹性扩张，自动化DevOps。开发人员使用FaaS平台台支持的语言编写核心代码及设置代码运行的条件，代码即可弹性、安全地运行，并可完全管理底层计算资源，包括服务器CPU、内存、网络、代码部署、弹性伸缩、负载均衡等服务。使用无服务器FaaS架构将可免除所有运维性操作，企业和开发者可以更加专注于核心业务的开发，实现快速上线和迭代，把握业务发展的节奏。在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体本文档来自技高网...

【技术保护点】
1.一种无服务器FaaS架构税务大数据系统，其特征在于：包括依次连接的客户端、处理系统、API网关、抽取系统、HDFS；所述处理系统包括增值税发票数据处理模块、普通发票数据处理模块、电子发票数据处理模块、商品分类处理模块、进销项处理模块；所述抽取系统包括增值税发票数据抽取模块、普通发票数据抽取模块、电子发票数据抽取模块、商品分类信息抽取模块、进销项信息抽取模块；所述增值税发票数据处理模块用于工作人员对来自客户端的增值税发票数据进行处理并发送至API网关；普通发票数据处理模块用于工作人员对来自客户端的普通发票数据进行处理，并形成增值税发票处理数据发送至API网关；电子发票数据处理模块用于工作人员对来自客户端的电子发票数据进行处理，并形成电子发票处理数据发送至API网关；商品分类处理模块用于工作人员对来自客户端的商品分类数据进行处理，并形成商品分类处理数据发送至API网关；进销项处理模块用于工作人员对来自客户端的进销项数据进行处理，并形成进销项处理数据发送至API网关；所述增值税发票数据抽取模块用于对API网关中的增值税发票处理数据进行抽取并发送至HDFS；普通发票数据抽取模块用于对API网关中的普通发票处理数据进行抽取并发送至HDFS；电子发票数据抽取模块用于对API网关中的电子发票处理数据进行抽取并发送至HDFS；商品分类信息抽取模块用于对API网关中的商品分类处理数据进行抽取并发送至HDFS；进销项信息抽取模块用于对API网关中的进销项处理数据进行抽取并发送至HDFS。...

【技术特征摘要】
1.一种无服务器FaaS架构税务大数据系统，其特征在于：包括依次连接的客户端、处理系统、API网关、抽取系统、HDFS；所述处理系统包括增值税发票数据处理模块、普通发票数据处理模块、电子发票数据处理模块、商品分类处理模块、进销项处理模块；所述抽取系统包括增值税发票数据抽取模块、普通发票数据抽取模块、电子发票数据抽取模块、商品分类信息抽取模块、进销项信息抽取模块；所述增值税发票数据处理模块用于工作人员对来自客户端的增值税发票数据进行处理并发送至API网关；普通发票数据处理模块用于工作人员对来自客户端的普通发票数据进行处理，并形成增值税发票处理数据发送至API网关；电子发票数据处理模块用于工作人员对来自客户端的电子发票数据进行处理，并形成电子发票处理数据发送至API网关；商品分类处理模块用于工作人员...

【专利技术属性】
技术研发人员：李海波，陆军，潘明文，
申请(专利权)人：安徽航天信息有限公司，
类型：发明
国别省市：安徽,34