【技术实现步骤摘要】
一种任意数据混合优化的大规模处理分析系统
[0001]本专利技术涉及数据大规模处理分析系统领域，特别是涉及一种任意数据混合优化的大规模处理分析系统。
技术介绍
[0002]数据是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材。数据可以是连续的值，比如声音、图像，称为模拟数据；也可以是离散的，如符号、文字，称为数字数据；在计算机系统中，数据以二进制信息单元0、1的形式表示。
[0003]在公开号“CN108427709B”公开的“一种多源海量数据处理系统及方法”，所述系统包括计算模块和任务管理模块，其中：所述计算模块用于接收多源海量数据，并调取数据接收服务解析所述多源海量数据；所述多源海量数据是根据预先在所述任务管理模块中配置的任务所产生的开源数据；所述计算模块若接收到外界选择的预设模型的确认动作，将解析后的多源海量数据输入所述预设模型，以供分析所述预设模型的输出结果。所述方法使用所述系统。本专利技术实施例提供的多源海量数据处理系统及方法，通过调取数据接收服务解析多源海量数据，将解析后...
【技术保护点】
【技术特征摘要】
1.一种任意数据混合优化的大规模处理分析系统，其特征在于，包括数据采集模块、数据转换模块、数据处理模块、学习模块、数据管理模块以及数据判读分析模块；所述数据采集模块用于利用大数据平台的计算能力，采用分布式的方式并行执行采集任务；所述数据转换模块用于将海量异构数据转换为同构数据，并传输给数据处理模块；所述数据处理模块用于对数据包进行解析，按照用户配置的参数信息处理出结果，并发送至数据管理模块；所述数据管理模块用于接收并存储数据处理模块发送的原始数据，建立存储结构，完成数据实时存储；所述学习模块用于将现有的算法模型整合，形成算法模型数据库，基于海量的样本数据训练不断优化模型；所述数据判读分析模块用于根据不同的测试状态和测试流程，自动完成遥测参数的判读工作；所述数据采集模块与数据判读分析模块之间设置有能够相互传输数据的传输子模块，且数据采集模块包括字段子模块，所述数据采集模块采集源文件数据，并分析所述源文件的参数字段，提取每一参数字段的数据；所述字段子模块用于设置源文件参数字段与目标文件参数字段的对应关系，确定源文件的参数字段为第一数据格式，目标文件的参数字段为第二数据格式，所述字段子模块根据源文件参数字段与目标文件参数字段之间的相似度生成每个第一数据格式对应的格式转换协议，并将每个格式转换协议下发至对应数据转换模块，根据格式转换协议，将所述源文件的参数字段的数据匹配至所述目标文件对应的参数字段，将所述源文件的参数字段的数据匹配至所述目标文件对应的参数字段的步骤包括将一个或多个所述源文件的参数字段的数据进行计算和判断后，生成匹配至所述目标文件对应的参数字段的数据，并对数据进行整合为数据包。2.根据权利要求1所述的一种任意数据混合优化的大规模处理分析系统，其特征在于：所述数据采集模块还包括微处理器单元、发送接口控制子模块以及接收接口控制子模块；所述微处理器单元，用于根据使用需求实现接口控制；所述发送接口控制子模块，用于实现基于总线协议的数据包发送；所述接收接口控制子模块，用于实现基于总线协议的数据包接收。3.根据权利...
【专利技术属性】
技术研发人员：史普力，张林林，周训游，
申请(专利权)人：北京泰策科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。