一种用于多数据源的流式数据处理方法及装置制造方法及图纸
【技术实现步骤摘要】
一种用于多数据源的流式数据处理方法及装置
本专利技术涉及大数据处理领域，具体地涉及一种用于多数据源的流式数据处理方法及装置。
技术介绍
在大数据领域，特别是在大数据分析过程中，数据的接入和数据的结构化是最为关键的两个部分。在实际应用中，用于分析的数据可能来源于多个数据源，并且基于不同数据源获得的数据的结构也可能存在差异，这就对大数据分析带来了很大的障碍。在现有的大数据处理领域，对于数据接入方面的处理仍处于“各自为阵”的阶段，没有形成体系化的操作模式。在现阶段，大多数情况下，用户都是根据单一的业务逻辑进行高耦合的开发，从而处理和分析从单一数据源接入的数据。但是，这样的方案需要用户针对不同的数据源以及不同的数据结构分别制定对应的业务逻辑和处理规则，当需要的处理的数据的来源较多时，现有的方案无法满足用户高效、便捷的数据接入和处理需求，不利于提高数据处理的效率。
技术实现思路
本专利技术解决的技术问题是现有技术必须针对不同的数据源以及不同的数据结构分别制定对应的业务逻辑和处理规则，无法更好地提高数据处理效率的问题。为解决上述技术问题，本专利技术实施例提供一种用于多数据源的流式...
【技术保护点】
一种用于多数据源的流式数据处理方法，其特征在于，包括如下步骤：当数据到达传输管道的接入点时，获取所述数据包括的消息头和消息体，所述消息头包含所述消息体的特征信息，所述数据来自多个数据源中的任一数据源；在所述消息头的指示下对所述数据进行传输和处理，以将所述数据经由所述传输管道的出口点传输至目的点，所述目的点根据所述消息头确定；其中，所述数据在所述传输管道内的传输路径根据所述消息头或者消息体确定。
【技术特征摘要】
1.一种用于多数据源的流式数据处理方法，其特征在于，包括如下步骤：当数据到达传输管道的接入点时，获取所述数据包括的消息头和消息体，所述消息头包含所述消息体的特征信息，所述数据来自多个数据源中的任一数据源；在所述消息头的指示下对所述数据进行传输和处理，以将所述数据经由所述传输管道的出口点传输至目的点，所述目的点根据所述消息头确定；其中，所述数据在所述传输管道内的传输路径根据所述消息头或者消息体确定。2.根据权利要求1所述的用于多数据源的流式数据处理方法，其特征在于，所述目的点包括：使用和/或存储所述数据的终端。3.根据权利要求1所述的用于多数据源的流式数据处理方法，其特征在于，在所述消息头的指示下对所述数据进行传输和处理包括：根据所述消息体与预设标准的比较结果，确定所述数据在所述传输管道内的传输路径，以将符合所述预设标准的数据经由所述传输路径传输至所述出口点。4.根据权利要求3所述的用于多数据源的流式数据处理方法，其特征在于，在所述消息头的指示下对所述数据进行传输和处理还包括：若所述消息体不符合所述预设标准，则将所述数据从所述传输管道中移除，或者将所述传输管道的出口点修正为错误数据传输管道的接入点。5.根据权利要求1所述的用于多数据源的流式数据处理方法，其特征在于，在所述消息头的指示下对所述数据进行传输和处理包括：根据所述消息体确定所述目的点是否需要更改；若所述目的点需要更改，则根据更改后的目的点确定所述数据在所述传输管道内的传输路径，以将所述数据经由所述传输路径传输至所述出口点。6.根据权利要求5所述的用于多数据源的流式数据处理方法，其特征在于，根据所述消息体确定所述目的点是否需要更改包括：根据所述消息体判断所述消息头是否需要更改；当判断结果表明所述消息头需要更改时，将所述消息头更改为与所述消息体相对应的消息头，并确定所述目的点需要更改。7.根据权利要求1所述的用于多数据源的流式数据处理方法，其特征在于，在所述消息头的指示下对所述数据进行传输和处理包括：根据所述消息头确定所述数据在所述传输管道内的传输路径，以将所述数据经由所述传输路径传输至所述出口点。8.根据权利要求1所述的用于多数据源的流式数据处理方法，其特征在于，在所述消息头的指示下对所述数据进行传输和处理包括：根据所述消息体的类型确定是否需要将所述数据分解为至少两个子数据，所述子数据也包括消息头和消息体；当确定需要将所述数据分解为至少两个子数据时，根据每一子数据的特征信息确定对应的消息头；针对每一子数据，根据所述子数据的消息头确定对应的目的点，并确定所述子数据在所述传输管道内的传输路径，以将所述子数据经由所述传输路径传输至所述出口点。9.一种用于多数据源的流式数据处理装置，其特征...
【专利技术属性】
技术研发人员：汤奇峰，曹礼洋，
申请(专利权)人：晶赞广告上海有限公司，
类型：发明
国别省市：上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。