一种基于大文件的快速解析系统技术方案

本发明专利技术公开了一种基于大文件的快速解析系统。它包括定义模块、解析模块、注册中心模块、计算模块、汇总模块；定义模块用于设置大文件读取方式及定义相关参数，与解析模块连接；解析模块用于解析大文件元信息及发布计算任务，与注册中心模块连接；注册中心模块用于存储待计算任务及每个任务的结果，与计算模块连接；计算模块用于接收计算任务及执行解析计算，与注册中心模块连接；汇总模块用于读取计算模块解析结果并汇总数据，与注册中心模块连接。本发明专利技术的有益效果是：可以以一种简单的低成本的系统架构高效的完成大文件解析工作，且同时完美支持横向扩展用于提升解析效率。同时完美支持横向扩展用于提升解析效率。同时完美支持横向扩展用于提升解析效率。

【技术实现步骤摘要】
一种基于大文件的快速解析系统


[0001]本专利技术涉及文件处理相关
，尤其是指一种基于大文件的快速解析系统。

技术介绍

[0002]目前大文件解析常用方案为使用大数据架构，虽然解析效率高，但是一套大数据架构在部署上较为繁重，且要求服务器配置较高，同时需要额外的人力成本。
[0003]非大数据架构的文件解析效率较低，同时对横向扩展性支持较差。

技术实现思路

[0004]本专利技术是为了克服现有技术中存在上述的不足，提供了一种低成本的基于大文件的快速解析系统。
[0005]为了实现上述目的，本专利技术采用以下技术方案：
[0006]一种基于大文件的快速解析系统，包括定义模块、解析模块、注册中心模块、计算模块、汇总模块；
[0007]定义模块用于设置大文件读取方式及定义相关参数，与解析模块连接；
[0008]解析模块用于解析大文件元信息及发布计算任务，与注册中心模块连接；
[0009]注册中心模块用于存储待计算任务及每个任务的结果，与计算模块连接；
[0010]计算模块用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大文件的快速解析系统，其特征是，包括定义模块、解析模块、注册中心模块、计算模块、汇总模块；定义模块用于设置大文件读取方式及定义相关参数，与解析模块连接；解析模块用于解析大文件元信息及发布计算任务，与注册中心模块连接；注册中心模块用于存储待计算任务及每个任务的结果，与计算模块连接；计算模块用于接收计算任务及执行解析计算，与注册中心模块连接；汇总模块用于读取计算模块解析结果并汇总数据，与注册中心模块连接。2.根据权利要求1所述的一种基于大文件的快速解析系统，其特征是，所述定义模块在整个系统运行前执行完，需要完成以下设置及定义：第一：设置大文件读取方式，即把待解析的大文件通过http方式代理出来，后续通过http地址获取到文件内容，且需要支持http
‑
range请求；第二，定义每个计算任务的文件大小，即每次http
‑
range请求的大小，需要根据实际情况设置，每次计算任务的请求大小应该控制在服务器内存范围内。3.根据权利要求2所述的一种基于大文件的快速解析系统，其特征是，由于定义模块已经代理出大文件的http请求，同时支持了range，那么解析模块就需要获取到该大文件的元数据信息，主要是文件的...

【专利技术属性】
技术研发人员：代存折，李妃军，王金华，
申请(专利权)人：杭州当虹科技股份有限公司，
类型：发明
国别省市：