一种多源异构数据快速采集系统技术方案

本实用新型专利技术公开了一种多源异构数据快速采集系统，它包括数据采集单元、数据清洗单元、数据处理单元、通信层、云端服务器和云端存储单元，数据采集单元的采集数据输出端与数据清洗单元的采集数据输入端连接，数据清洗单元的清洗数据输出端与数据处理单元的输入端连接，数据处理单元与通信层通讯连接，通信层与云端服务器通讯连接，云端服务器的数据存储控制端与云端存储单元的控制端连接，云端服务器包括监听模块，监听模块显示数据处理单元与云端服务器的连接状态。该系统通过数据采集单元进行数据采集，采集的数据通过数据清洗单元进行数据清洗，数据处理单元进行数据规格化，将整理后的数据传输到云端服务器，以供用户访问使用。

【技术实现步骤摘要】
一种多源异构数据快速采集系统
本技术涉及数据采集领域，特别是一种多源异构数据快速采集系统。
技术介绍
现在社会的高速进步，物联网的快速发展引领信息产业走向了一个新的浪潮，而数据采集作为信息产业的核心技术，令其以及其边缘技术更加智能化已经成为了物联网系统的核心技术问题。数据采集面临的是来自不同网络不同网站和不同行业的各种信息，而用户在使用各种资料时，往往更倾向于使用经过归纳整理的资料，因此这些被采集到的信息并不能直接作为资料提供给用户，需要进行归类或者提取。在大数据时代，信息的时效性有限，谁能在较短的时间内为用户提供更清楚有效的信息，谁就能够占据有利的市场份额，现有的数据采集系统往往仅能够针对单一的数据进行处理，或者处理不够完整清楚，数据采集与处理不够迅速。
技术实现思路
本技术的目的在于克服现有技术的不足，提供一种多源异构数据快速采集系统，该系统通过数据采集单元进行数据采集，采集的数据通过数据清洗单元进行数据清洗，数据处理单元进行数据规格化，将整理后的数据传输到云端服务器，以供用户访问使用。本技术的目的是通过以下技术方案来实现的：一种多源异构数据快速采集系统，它包括数据采集单元、数据清洗单元、数据处理单元、通信层、云端服务器和云端存储单元，所述的数据采集单元的采集数据输出端与数据清洗单元的采集数据输入端连接，所述的数据清洗单元的清洗数据输出端与数据处理单元的输入端连接，所述的数据处理单元与通信层通讯连接，所述通信层与云端服务器通讯连接，云端服务器的数据存储控制端与云端存储单元的控制端连接，所述的云端服务器包括监听模块，监听模块显示数据处理单元与云端服务器的连接状态。该系统还包括安全认证单元和应用服务器，应用服务器通过安全认证单元访问云端服务器。所述的数据处理单元还包括连接状态监测模块和断点续传模块，所述的连接状态监测模块监测数据处理单元与云端服务器之间的连接状态，断点续传模块用于传输处理后的数据。所述的云端服务器还包括校验模块，校验模块验证应用服务器的身份。所述的云端存储单元包括数据库管理服务器和数据库服务器，数据库管理服务器与数据库服务器的控制端连接，云端服务器的数据存储控制端与数据库管理服务器的控制端连接。本技术的有益效果是：本技术提供了一种多源异构数据快速采集系统，该系统通过数据采集单元进行数据采集，采集的数据通过数据清洗单元进行数据清洗，数据处理单元进行数据规格化，将整理后的数据传输到云端服务器，以供用户访问使用，用户通过应用服务器访问云端存储服务器，访问过程通过安全认证单元加密认证，保障了云端存储的数据的安全，同时数据处理单元与云端存储服务器之间采用断点续传的传输方式，保障的数据的完整性。附图说明图1为本技术的结构框图。具体实施方式下面结合附图进一步详细描述本技术的技术方案，但本技术的保护范围不局限于以下所述。如图1所示，一种多源异构数据快速采集系统，它包括数据采集单元、数据清洗单元、数据处理单元、通信层、云端服务器和云端存储单元，所述的数据采集单元的采集数据输出端与数据清洗单元的采集数据输入端连接，所述的数据清洗单元的清洗数据输出端与数据处理单元的输入端连接，所述的数据处理单元与通信层通讯连接，所述通信层与云端服务器通讯连接，云端服务器的数据存储控制端与云端存储单元的控制端连接，所述的云端服务器包括监听模块，监听模块显示数据处理单元与云端服务器的连接状态。该系统还包括安全认证单元和应用服务器，应用服务器通过安全认证单元访问云端服务器。所述的数据处理单元还包括连接状态监测模块和断点续传模块，所述的连接状态监测模块监测数据处理单元与云端服务器之间的连接状态，断点续传模块用于传输处理后的数据。所述的云端服务器还包括校验模块，校验模块验证应用服务器的身份。所述的云端存储单元包括数据库管理服务器和数据库服务器，数据库管理服务器与数据库服务器的控制端连接，云端服务器的数据存储控制端与数据库管理服务器的控制端连接。本技术的多源异构数据快速采集系统在使用时数据采集单元从各网站采集需要的数据，并传输到数据清洗单元进行“脏”数据整理，消除冗余数据，数据清洗完成后的数据传输到数据处理单元进行数据规格化处理，处理后的数据通过断点续传模块经通信层传输到云端服务器，云端服务器将接收到的数据打包成数据包传输到数据库管理服务器，数据库管理服务器控制数据库端服务器进行数据存储。用户通过应用服务器进行数据访问，应用服务器通过安全认证单元的认证后才可接入数据库服务器，通过校验模块的身份校验后才可访问数据库服务器中存储的数据。在数据传输过程中，位于云端服务器的监听模块和位于数据处理单元的连接状态监测模块均监测云端服务器和数据处理单元之间的连接状态。本技术的多源异构数据快速采集系统通过数据采集单元进行数据采集，采集的数据通过数据清洗单元进行数据清洗，数据处理单元进行数据规格化，将整理后的数据传输到云端服务器，以供用户访问使用，用户通过应用服务器访问云端存储服务器，访问过程通过安全认证单元加密认证，保障了云端存储的数据的安全，同时数据处理单元与云端存储服务器之间采用断点续传的传输方式，保障的数据的完整性。本文档来自技高网...

【技术保护点】
1.一种多源异构数据快速采集系统，其特征在于：它包括数据采集单元、数据清洗单元、数据处理单元、通信层、云端服务器和云端存储单元，所述的数据采集单元的采集数据输出端与数据清洗单元的采集数据输入端连接，所述的数据清洗单元的清洗数据输出端与数据处理单元的输入端连接，所述的数据处理单元与通信层通讯连接，所述通信层与云端服务器通讯连接，云端服务器的数据存储控制端与云端存储单元的控制端连接，所述的云端服务器包括监听模块，监听模块显示数据处理单元与云端服务器的连接状态；该系统还包括安全认证单元和应用服务器，应用服务器通过安全认证单元访问云端服务器。

【技术特征摘要】
1.一种多源异构数据快速采集系统，其特征在于：它包括数据采集单元、数据清洗单元、数据处理单元、通信层、云端服务器和云端存储单元，所述的数据采集单元的采集数据输出端与数据清洗单元的采集数据输入端连接，所述的数据清洗单元的清洗数据输出端与数据处理单元的输入端连接，所述的数据处理单元与通信层通讯连接，所述通信层与云端服务器通讯连接，云端服务器的数据存储控制端与云端存储单元的控制端连接，所述的云端服务器包括监听模块，监听模块显示数据处理单元与云端服务器的连接状态；该系统还包括安全认证单元和应用服务器，应用服务器通过安全认证单元访问云端服务器。2.根据权利要求...

【专利技术属性】
技术研发人员：刘佳欣，高峰，韩强，
申请(专利权)人：四川无境众创科技有限公司，
类型：新型
国别省市：四川,51