用于大数据的数据接入方法、装置及系统制造方法及图纸

一种用于大数据的数据接入方法、装置及系统，用于大数据的数据接入方法包括：接收至少一种数据，所述至少一种数据中，对应不同的数据来源的数据采用相同或不同的传输协议；识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储；根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去。本发明专利技术技术方案提高了数据接入的适用范围。

【技术实现步骤摘要】

本专利技术涉及大数据处理
，尤其涉及一种用于大数据的数据接入方法、装置及系统。
技术介绍
目前，随着大数据时代的推进，会产生各种不同类型、不同内容的数据。如何将不同来源、不同格式、不同量级的数据进行统一接入、统一处理，是目前互联网行业存在的一个问题。现有技术中，对于目前行业中常用的数据接入的处理方式通常是针对不同数据来源。对于每种来源的数据，需要单独开发一套包含收集、接入、存储、处理的数据整合系统。对于同一数据的接入服务，只能支持一种协议。在对数据处理的实时性要求比较高的场景中，接入数据量较大时，服务承载能力弱，接入服务性能不能满足高接入速度的要求，而且接入的数据孤立，导致数据复用性不足。因此，亟需一种可以适配不同数据来源、不同数据格式、不同存储方式、不同处理方法的系统来解决目前行业中存在的数据接入和数据处理的问题。
技术实现思路
本专利技术解决的技术问题是如何提高数据接入的适用范围。为解决上述技术问题，本专利技术实施例提供一种用于大数据的数据接入方法，用于大数据的数据接入方法包括：接收至少一种数据，所述至少一种数据中，对应不同的数据来源的数据采用相同或不同的传输协议；识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储；根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去。可选的，接收至少一种数据之前还包括：确定所述预先配置，所述预先配置中包括所述基本特征与存储方式的对应关系以及与推送传输协议的对应
关系。可选的，接收所述至少一种数据和将所述至少一种数据进行分类存储通过事务的方式实现；将所述至少一种数据进行分类存储和将所述至少一种数据推送出去通过事务的方式实现。可选的，根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去包括：在所述至少一种数据中的至少一部分对应的存储位置获取待推送数据，并推送至所述待推送数据的所述预先配置指定的数据处理服务。可选的，所述基本特征包括以下一种或多种：数据内容和数据格式。为解决上述技术问题，本专利技术实施例还公开了一种数据接入装置，数据接入装置包括：接入单元，适于接收至少一种数据，所述至少一种数据中，对应不同的数据来源的数据采用相同或不同的传输协议；存储单元，适于识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储；推送单元，适于根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去。可选的，所述的数据接入装置还包括：确定单元，适于确定所述预先配置，所述预先配置中包括所述基本特征与存储方式的对应关系以及与推送传输协议的对应关系。可选的，接收所述至少一种数据和将所述至少一种数据进行分类存储通过事务的方式实现；，将所述至少一种数据进行分类存储和将所述至少一种数据推送出去通过事务的方式实现。可选的，所述推送单元在所述至少一种数据中的至少一部分对应的存储位置获取待推送数据，并推送至所述待推送数据的所述预先配置指定的数据处理服务。可选的，所述基本特征包括以下一种或多种：数据内容和数据格式。为解决上述技术问题，本专利技术实施例还公开了一种数据接入系统，所述数据接入系统包括多个所述数据接入装置，所述多个数据接入装置分布式耦
接。与现有技术相比，本专利技术实施例的技术方案具有以下有益效果：本专利技术实施例中，接收至少一种数据，所述至少一种数据中，对应不同的数据来源的数据采用相同或不同的传输协议；识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储；根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去。采用上述方案，使得数据的接入可以支持不同的多种传输协议，并且通过将接收到的至少一种数据进行分类存储，实现了采用相同或不同的传输协议的至少一种数据可以采用相同或不同的推送传输协议推送出去，提高了数据接入的适用范围。进一步，所述预先配置是预先确定的，所述预先配置中包括所述基本特征与存储方式的对应关系，以及所述基本特征与推送传输协议的对应关系。对于数据的存储方式、推送传输协议，可以通过预先配置的配置文件来指定。本专利技术实施例可以通过简单的配置完成数据的接入，具备高度可配置性。附图说明图1是本专利技术实施例一种数据接入方法的流程图；图2是本专利技术实施例一种数据接入过程的示意图；图3是本专利技术实施例另一种数据接入过程的示意图；图4是本专利技术实施例又一种数据接入过程的示意图；图5是本专利技术实施例一种数据接入装置的结构示意图。具体实施方式如
技术介绍
中所述，对于目前行业中常用的数据接入的处理方式通常是针对不同数据来源，对于每种来源的数据，需要单独开发一套包含收集、接入、存储、处理的数据整合系统。对于同一数据的接入服务，只能支持一种协议。在对数据处理的实时性要求比较高的场景中，接入数据量较大时，服务承载能力弱，接入服务性能不能满足接入速度。接入的数据孤立，数据复用性不足。现有技术中，在对接入和处理服务的一致性要求较高的场景，数据接入服务和数据处理服务通常需要做调整，才能保证数据接入和处理的顺利进行。例如，对于某一数据来源，传输协议是传输协议A，但是其数据处理服务的传输协议包含传输协议A、传输协议B、传输协议C等；如果数据处理服务要接入该来源的数据，那么数据处理服务需要做调整，才能够数据处理服务和数据能够顺利衔接。反之，接入数据来源采用的传输协议是传输协议A、传输协议B、传输协议C等，对于这些数据要使用相同的数据处理服务进行处理，那么数据来源需要做调整，才能够使得数据能够正常的被数据处理服务进行处理。上述调整的过程给用户使用带来了不便。为了解决大数据领域，多种来源的数据在统一接入、处理时存在的复杂性问题，本专利技术实施例提供了一种可以支持不同数据来源、不同数据格式、不同存储方式的解决方案。为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施例做详细的说明。图1是本专利技术实施例一种数据接入方法的流程图。下面结合图1对所述数据接入方法的具体步骤做详细的说明。步骤S101：接收至少一种数据。其中，所述至少一种数据中，对应不同的数据来源的数据可以采用相同的传输协议，也可以采用不同的传输协议。具体实施中，对于数据接收方式，可以支持多种传输协议，例如，超文本传输协议(HyperText Transfer Protocol,HTTP)、thrift协议等。具体而言，目前的各种行业中，尤其是大数据领域，数据来源通常会根据业务需要选择合适的传输协议来进行数据传输，进而导致在数据接收时，不同数据来源的接收方式各不相同，因此，为了满足目前行业中不同业务数据的顺利接收，本专利技术实施例支持多种传输协议的接收。步骤S102：识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储。具体实施中，在数据接收之前，确定所述预先配置，所述预先配置中包
括所述基本特征与存储方式的对应关系以及与推送传输协议的对应关系。在数据接收之后，识别接收数据的基本特征，并根据预先配置将接收数据进行存储。也就是说，具备相同基本特征的数据作为同一本文档来自技高网...

【技术保护点】
一种用于大数据的数据接入方法，其特征在于，包括：接收至少一种数据，所述至少一种数据中，对应不同的数据来源的数据采用相同或不同的传输协议；识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储；根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去。

【技术特征摘要】
1.一种用于大数据的数据接入方法，其特征在于，包括：接收至少一种数据，所述至少一种数据中，对应不同的数据来源的数据采用相同或不同的传输协议；识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储；根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去。2.根据权利要求1所述的数据接入方法，其特征在于，接收至少一种数据之前还包括：确定所述预先配置，所述预先配置中包括所述基本特征与存储方式的对应关系以及与推送传输协议的对应关系。3.根据权利要求1所述的数据接入方法，其特征在于，接收所述至少一种数据和将所述至少一种数据进行分类存储通过事务的方式实现；将所述至少一种数据进行分类存储和将所述至少一种数据推送出去通过事务的方式实现。4.根据权利要求1所述的数据接入方法，其特征在于，根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去包括：在所述至少一种数据中的至少一部分对应的存储位置获取待推送数据，并推送至所述待推送数据的所述预先配置指定的数据处理服务。5.根据权利要求1至4任一项所述的数据接入方法，其特征在于，所述基本特征包括以下一种或多种：数据内容和数据格式。6.一种数据接入装置，其特征在...

【专利技术属性】
技术研发人员：汤奇峰，安斌，
申请(专利权)人：晶赞广告上海有限公司，
类型：发明
国别省市：上海;31