一种流数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种流数据处理方法和装置，该方法包括：接收第一元数据建立指令，响应第一元数据建立指令，根据预设元数据建立模型生成第一元数据；根据第一元数据，载入第一元数据对应的第一流数据；接收对第一流数据的数据处理指令，确定数据处理指令对应的数据处理操作，并根据第一元数据实现对第一流数据的数据处理操作。

A Method and Device for Stream Data Processing

【技术实现步骤摘要】
一种流数据处理方法和装置
本专利技术涉及数据处理领域，尤其涉及一种流数据处理方法和装置。
技术介绍
流数据是一组顺序、大量、快速、连续到达的数据序列，越来越多的领域都涉及到流数据，比如，网络监控、传感器网络、航空航天、气象测控或金融服务等领域，因此针对流数据执行的操作也越来越频繁，进而对流数据的处理也越来越受到重视。但是现有数据库中并没有一种针对流数据进行统一管理及处理的方法，从而导致流数据使用不方便。
技术实现思路
有鉴于此，本专利技术实施例期望提供一种流数据处理方法和装置，能缩提高流数据的处理效率。为达到上述目的，本专利技术的技术方案是这样实现的：本专利技术实施例信息、并定义所述流数据对应的业务逻辑操作；根据所述数据结构、所述源地址信息和所述业务逻辑操作，生成所述第一元数据。在上述方法中，所述根据所述第一元数据，载入所述第一元数据对应的第一流数据，包括：载入所述源地址信息对应的源地址发送的所述第一流数据。在上述方法中，所述数据处理指令包括订阅分发指令，所述接收对所述第一流数据的数据处理指令，确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作，包括：接收订阅分发模块发送的所述订阅分发指令，所述订阅分发指令中携带所述订阅分发模块对应的至少一个待发送地址信息和预设发送时间；根据所述第一元数据确定当前系统时间；当所述当前系统时间到达所述预设发送时间时，将所述第一流数据发送至所述至少一个待发送地址信息，并将所述至少一个待发送地址信息进行存储。在上述方法中，所述数据处理指令包括业务逻辑指令，所述接收对所述第一流数据的数据处理指令，确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作，包括：接收对所述第一流数据的业务逻辑指令，所述业务逻辑指令中携带触发条件及所述业务逻辑操作；当所述第一元数据满足所述触发条件时，实现对所述第一流数据的所述业务逻辑操作。在上述方法中，所述业务逻辑操作包括过滤操作、关联操作和聚合操作。在上述方法中，所述数据处理指令包括删除指令，所述接收对所述第一流数据的数据处理指令，确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作，包括：接收对所述第一流数据的删除指令，所述删除指令中携带预定存储时长和删除策略，所述删除策略包括删除所述第一流数据，或删除所述预定存储时长前的所述第一流数据对应的存储数据中的任意一种；提供一种流数据处理方法，所述方法包括：接收第一元数据建立指令，响应所述第一元数据建立指令，根据预设元数据建立模型生成第一元数据；根据所述第一元数据，载入所述第一元数据对应的第一流数据；接收对所述第一流数据的数据处理指令，确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作。在上述方法中，所述根据所述第一元数据建立指令生成所述第一元数据，包括：基于预设约束信息设置描述流数据的数据结构、记录所述流数据的源地址根据所述第一元数据确定所述第一流数据的实际存储时长；当所述实际存储时长等于所述预设存储时长时，根据所述删除策略进行相应的删除。在上述方法中，所述载入所述第一元数据对应的第一流数据之后，所述方法还包括：从所述第一流数据中确定与预设待检测信息对应的第一待检测信息；当所述第一待检测信息与所述预设待检测信息不匹配时，产生告警信息。本专利技术实施例提供一种流数据处理装置，所述流数据处理装置包括：接收单元，用于接收第一元数据建立指令；生成单元，用于响应所述第一元数据建立指令，根据预设元数据建立模型生成第一元数据；载入单元，用于根据所述第一元数据，载入所述第一元数据对应的第一流数据；数据处理单元，用于接收对所述第一流数据的数据处理指令，确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作。在上述流数据处理装置中，所述流数据处理装置还包括：设置单元；所述设置单元，用于基于预设约束信息设置描述流数据的数据结构、记录所述流数据的源地址信息、并定义所述流数据对应的业务逻辑操作；所述生成单元，具体用于根据所述数据结构、所述源地址信息和所述业务逻辑操作，生成所述第一元数据。所述载入单元，具体用于载入所述源地址信息对应的源地址发送的所述第一流数据。在上述流数据处理装置中，所述数据处理指令包括订阅分发指令，所述流数据处理装置还包括：确定单元、发送单元和存储单元；所述接收单元，还用于接收订阅分发模块发送的所述订阅分发指令，所述订阅分发指令中携带所述订阅分发模块对应的至少一个待发送地址信息和预设发送时间；所述确定单元，用于根据所述第一元数据确定当前系统时间；所述发送单元，用于当所述当前系统时间到达所述预设发送时间时，将所述第一流数据发送至所述至少一个待发送地址信息；所述存储单元，用于将所述至少一个待发送地址信息进行存储。在上述流数据处理装置中，所述数据处理指令包括业务逻辑指令，所述流数据处理装置还包括：业务逻辑单元；所述接收单元，还用于接收对所述第一流数据的业务逻辑指令，所述业务逻辑指令中携带触发条件及所述业务逻辑操作；所述业务逻辑单元，还用于当所述第一元数据满足所述触发条件时，实现对所述第一流数据的所述业务逻辑操作。在上述流数据处理装置中，所述业务逻辑操作包括过滤操作、关联操作和聚合操作。在上述流数据处理装置中，所述流数据处理装置还包括：删除单元；所述接收单元，还用于接收对所述第一流数据的删除指令，所述删除指令中携带预定存储时长和删除策略，所述删除策略包括删除所述第一流数据，或删除所述预定存储时长前的所述第一流数据对应的存储数据中的任意一种；所述确定单元，还用于根据所述第一元数据确定所述第一流数据的实际存储时长；所述删除单元，用于当所述实际存储时长等于所述预设存储时长时，根据所述删除策略进行相应的删除。在上述方法中，所述确定单元，用于从所述第一流数据中确定与预设待检测信息对应的第一待检测信息；所述生成单元，用于当所述第一待检测信息与所述预设待检测信息不匹配时，产生告警信息。本专利技术实施例提供一种流数据处理装置，所述流数据处理装置包括至少一个流数据处理接口，所述流数据处理装置包括：存储器、接收器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述接收器依赖于所述处理器执行操作，当所述程序被处理器执行时，执行如下操作：所述接收器，用于接收第一元数据建立指令和接收对所述第一流数据的数据处理指令；所述处理器，用于响应第一元数据建立指令，根据预设元数据建立模型生成第一元数据；根据所述第一元数据，载入所述第一元数据对应的第一流数据；确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作。本专利技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，应用于流数据处理装置上，该计算机程序被处理器执行时实现上面所述任一项流数据处理方法。本专利技术实施例提供的流数据处理方法和装置，该方法可以包括：接收第一元数据建立指令，响应第一元数据建立指令，根据预设元数据建立模型生成第一元数据；根据第一元数据，载入第一元数据对应的第一流数据；接收对第一流数据的数据处理指令，确定数据处理指令本文档来自技高网...

【技术保护点】
1.一种流数据处理方法，其特征在于，所述方法包括：接收第一元数据建立指令，响应所述第一元数据建立指令，根据预设元数据建立模型生成第一元数据；根据所述第一元数据，载入所述第一元数据对应的第一流数据；接收对所述第一流数据的数据处理指令，确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作。

【技术特征摘要】
1.一种流数据处理方法，其特征在于，所述方法包括：接收第一元数据建立指令，响应所述第一元数据建立指令，根据预设元数据建立模型生成第一元数据；根据所述第一元数据，载入所述第一元数据对应的第一流数据；接收对所述第一流数据的数据处理指令，确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作。2.根据权利要求1所述的方法，其特征在于，所述根据预设元数据建立模型生成所述第一元数据，包括：基于预设约束信息设置描述流数据的数据结构、记录所述流数据的源地址信息、并定义所述流数据对应的业务逻辑操作；根据所述数据结构、所述源地址信息和所述业务逻辑操作，生成所述第一元数据。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一元数据，载入所述第一元数据对应的第一流数据，包括：载入所述源地址信息对应的源地址发送的所述第一流数据。4.根据权利要求1所述的方法，其特征在于，所述数据处理指令包括订阅分发指令，所述接收对所述第一流数据的数据处理指令，确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作，包括：接收订阅分发模块发送的所述订阅分发指令，所述订阅分发指令中携带所述订阅分发模块对应的至少一个待发送地址信息和预设发送时间；根据所述第一元数据确定当前系统时间；当所述当前系统时间到达所述预设发送时间时，将所述第一流数据发送至所述至少一个待发送地址信息，并将所述至少一个待发送地址信息进行存储。5.根据权利要求2所述的方法，其特征在于，所述数据处理指令包括业务逻辑指令，所述接收对所述第一流数据的数据处理指令，确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作，包括：接收对所述第一流数据的业务逻辑指令，所述业务逻辑指令中携带触发条件及所述业务逻辑操作；当所述第一元数据满足所述触发条件时，实现对所述第一流数据的所述业务逻辑操作。6.根据权利要求5所述的方法，其特征在于，所述业务逻辑操作包括过滤操作、关联操作和聚合操作。7.根据权利要求1所述的方法，其特征在于，所述数据处理指令包括删除指令，所述接收对所述第一流数据的数据处理指令，确定所述数据处理指令对应的数据处理操作，并根据所述第一元数据实现对所述第一流数据的所述数据处理操作，包括：接收对所述第一流数据的删除指令，所述删除指令中携带预定存储时长和删除策略，所述删除策略包括删除所述第一流数据、停止接入所述第一流数据、或删除所述预定存储时长前的所述第一流数据对应的存储数据中的任意一种；根据所述第一元数据确定所述第一流数据的实际存储时长；当所述实际存储时长等于所述预设存储时长时，根据所述删除策略进行相应的删除。8.根据权利要求1所述的方法，其特征在于，所述载入所述第一元数据对应的第一流数据之后，所述方法还包括：从所述第一流数据中确定与预设待检测信息对应的第一待检测信息；当所述第一待检测信息与所述预设待检测信息不匹配时，产生告警信息。9.一种流数据处理装置，其特征在于，所述流数据处理装置包括：接收单元，用于接收第一元数据建立指令；生成单元，用于响应所述第一元数据建立指令，根据预设元数据建立模型生成第一元数据；载入单元，用于根据所述第一元数据，载入所述第一元数据对应的第一流数据；数据处理单元，用于接收对所述第一流数据的数据处理指令，确定所述数据处理指令...

【专利技术属性】
技术研发人员：徐萌，段云峰，魏瑗珍，黄岩，尚晶，刘虹，徐海勇，
申请(专利权)人：中国移动通信集团公司，
类型：发明
国别省市：北京,11