【技术实现步骤摘要】
实现流式源数据解析的方法和装置
本公开涉及数据处理
，特别涉及一种实现流式源数据解析的方法和装置。
技术介绍
随着互联网应用的迅猛发展，为用户提供服务的多种业务，在其运营中会源源不断的产生大量数据，例如，用户在实现此业务的服务中不断上报的数据等。因此，可使得各业务方都作为一数据源，进行一个或者多个数据源中数据的汇集。在所进行的数据汇集中，数据被流式地上报至数据源，由此，将涉及到流式源数据的实时解析和落地存储过程。在此过程中，首先需要按照落地存储的需求，而进行流式源数据的解析。然而，现有数据解析的实现仅能够支持较少的数据源格式，可扩展性较为欠缺，对于与其所支持的数据源格式不相符的业务而言，则不得不重新进行业务开发。
技术实现思路
为了解决相关技术中流式源数据的实时解析和落地存储可扩展性欠缺的技术问题，本公开提供了一种实现流式源数据解析的方法和装置。一种实现流式源数据解析的方法，所述方法包括：拉取流式源数据，并缓存，所述流式源数据是流式地上报至数据源的数据；调用与缓存的所述流式源数据相匹配的数据解析插件，所述数据解析插件是预先配置的；通过调用的所述数据解析插件处理所...
【技术保护点】
1.一种实现流式源数据解析的方法，其特征在于，所述方法包括：拉取流式源数据，并缓存，所述流式源数据是流式地上报至数据源的数据；调用与缓存的所述流式源数据相匹配的数据解析插件，所述数据解析插件是预先配置的；通过调用的所述数据解析插件处理所述缓存的流式源数据得到目标数据；向指定目的地分发所述目标数据，所述目标数据通过所述分发进行数据落地。
【技术特征摘要】
1.一种实现流式源数据解析的方法，其特征在于，所述方法包括：拉取流式源数据，并缓存，所述流式源数据是流式地上报至数据源的数据；调用与缓存的所述流式源数据相匹配的数据解析插件，所述数据解析插件是预先配置的；通过调用的所述数据解析插件处理所述缓存的流式源数据得到目标数据；向指定目的地分发所述目标数据，所述目标数据通过所述分发进行数据落地。2.根据权利要求1所述的方法，其特征在于，所述通过调用的所述数据解析插件处理所述缓存的流式源数据得到目标数据之后，所述方法还包括：根据所述目标数据对应的流式源数据，得到所述目标数据所属数据单元的标识信息；按照所述标识信息将所述目标数据写入数据单元；将所述数据单元中的目标数据组装成消息文件，并建立所述消息文件与所述标识信息之间的映射关系，所述消息文件用于进行目标数据的分发。3.根据权利要求2所述的方法，其特征在于，所述向指定目的地分发所述目标数据，包括：根据所述消息文件映射的标识信息得到指定目的地；向指定目的地分发所述消息文件，通过所述消息文件的分发使所述消息文件中组装的目标数据被分发至指定目的地。4.根据权利要求3所述的方法，其特征在于，所述向指定目的地分发所述消息文件，通过所述消息文件的分发使所述消息文件中组装的目标数据被分发至指定目的地之后，所述方法还包括：在所述消息文件被确认分发至目的地之后剔除所述消息文件，未被确认的消息文件则被积压等待重传；根据积压的所述消息文件限制所述流式源数据的拉取，直至被积压的所述消息文件在数量上低于阈值之后消除所述限制。5.根据权利要求2所述的方法，其特征在于，所述将所述数据单元中的目标数据组装成消息文件，包括：通过配置的数据大小和超时时间控制所述数据单元中目标数据的组装，如果所述数据单元中目标数据达到配置的数据大小或超时，则将所述数据单元中的目标数据组装成消息文件。6.根据权利要求2所述的方法，其特征在于，所述向指定目的地分发所述目标数据之后，所述方法还包括：所述目标数据的后端处理中，接收通过所述消息文件分发的目标数据；根据所述目标数据所属数据单元的标识信息，将所述目标数据写入所述数据单元进行缓存；打包所述数据单元中的目标数据得到承载所述目标数据的本地文件；将所述本地文件加入上传队列，将所述本地文件上传至所属数据单元对应的存储系统。7....
【专利技术属性】
技术研发人员：胡侃，邓林，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。