建立在处理数据的快速加载装置制造方法及图纸

本发明专利技术公开了建立在处理数据的快速加载装置，包括文件，还包括ETL模块；所述ETL模块：读取文件中的数据，将数据从来源端经过抽取、转换、加载发送至数据转换模块；所述数据转换模块：接收ETL模块发送的加载数据，通过AD转换，发送特征值信息到大数据处理单元；所述大数据处理单元：接收数据转换模块的特征值信息，通过对比单元模块对比，得出差异化特征值；所述对比单元模块：将大数据处理单元接收的特征值信息和数据库存储模块的原始值对比，得到差异化特征值，并发送至数据储存模块更新；所述数据库存储模块：为对比单元模块提供原始对比数据，每接收一次差异化特征值更新数据库本身；并为收发单元模块提供数据。

【技术实现步骤摘要】
建立在处理数据的快速加载装置
本专利技术涉及一种大数据加载系统，具体涉及建立在处理数据的快速加载装置。
技术介绍
大数据，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：Volume、Velocity、Variety、Value。大数据处理中，常常需要一次性保存几十万、上百万条数据，一般SQL批处理语句是无法处理这样的数据量。所以大多数方案是将数据保存到文件，利用数据库提供的批处理命令将文件加载到数据库中。现有的加载方式会出现效率低，耗时长，因为现有方案需要将数据从ETL系统中保存到文件，再通过数据库引擎读取文件，两次额外的文件读写操作，硬盘的数据存取速度远远比内存慢很多，所以现有方案效率更低、耗时更长。并且增加系统的复杂度，因为现有方案会取决于磁盘剩余空间的容量，如果磁盘剩余空间不足，会导致写文件的时候失败。
技术实现思路
本专利技术所要解决的技术问题是磁盘剩余空间不足，会导致写文件本文档来自技高网...

【技术保护点】
建立在处理数据的快速加载装置，包括文件，其特征在于：还包括ETL模块；所述ETL模块：读取文件中的数据，将数据从来源端经过抽取、转换、加载发送至数据转换模块；所述数据转换模块：接收ETL模块发送的加载数据，通过AD转换，发送特征值信息到大数据处理单元；所述大数据处理单元：接收数据转换模块的特征值信息，通过对比单元模块对比，得出差异化特征值；所述对比单元模块：将大数据处理单元接收的特征值信息和数据库存储模块的原始值对比，得到差异化特征值，并发送至数据储存模块更新；所述数据库存储模块：为对比单元模块提供原始对比数据，每接收一次差异化特征值更新数据库本身；并为收发单元模块提供数据；所述收发单元模块：...

【技术特征摘要】
1.建立在处理数据的快速加载装置，包括文件，其特征在于：还包括ETL模块；所述ETL模块：读取文件中的数据，将数据从来源端经过抽取、转换、加载发送至数据转换模块；所述数据转换模块：接收ETL模块发送的加载数据，通过AD转换，发送特征值信息到大数据处理单元；所述大数据处理单元：接收数据转换模块的特征值信息，通过对比单元模块对比，得出差异化特征值；所述对比单元模块：将大数据处理单元接收的特征值信息和数据库存储模块的原始值对比，得到差异化特征值，并发送至数据储存模块更新；所述数据库存储模块：为对比单元模块提供原始对比数据，每接收一次差异化特征值更新数据库本身；并为收发单元模块提供数据；所述收发单元模块：从数据库存储模块提取特征值数据发送至输入流模块；所述输入流模块：接收收发单元模...

【专利技术属性】
技术研发人员：魏宁，廖斌，曾大勇，
申请(专利权)人：成都爱途享科技有限公司，
类型：发明
国别省市：四川,51