【技术实现步骤摘要】
基于流处理的事件处理方法及系统
本专利技术涉及实时数据处理领域，尤其涉及一种基于流处理的事件处理方法及系统。
技术介绍
随着网络技术的发展，在移动互联网时代，每天都在产生海量的数据，对于实时性要求较高的数据，如果数据量较小，则经过数据清洗过滤后存储在关系数据库中，同时查询数据库或者调用服务验证组合条件是否成立。如果数据量较大，则经过数据清洗过滤后存储在非关系数据库中，同时查询非关系数据库验证组合条件是否成立。然而，随着对消息处理的时延要求越来越高，通过先存储数据再处理的方式，不仅数据处理时延较长，数据存储的成本也很高，将数据存储在数据库中，新增一种类型的数据需要新建或者扩展表模型，并需要开发对应的数据入库和数据处理代码，开发工作量较大，不利于后续扩展。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于流处理的事件处理方法及系统。本专利技术解决上述技术问题的技术方案如下：一种基于流处理的事件处理方法，包括：预处理单元对事件进行预处理，将预处理后的事...
【技术保护点】
1.一种基于流处理的事件处理方法，其特征在于，包括：/n预处理单元对事件进行预处理，将预处理后的事件以消息的方式发送至消息中间件，通过所述消息中间件将所述消息转发给流处理平台；/n所述流处理平台将所述事件与预设的事件匹配规则进行匹配，当匹配成功后，将所述事件发送给订阅关系处理单元；/n所述订阅关系处理单元查阅所述事件的订阅信息，将所述订阅信息和所述事件发送给封装单元；/n所述封装单元根据所述订阅信息对所述事件进行封装并分发。/n
【技术特征摘要】
1.一种基于流处理的事件处理方法，其特征在于，包括：
预处理单元对事件进行预处理，将预处理后的事件以消息的方式发送至消息中间件，通过所述消息中间件将所述消息转发给流处理平台；
所述流处理平台将所述事件与预设的事件匹配规则进行匹配，当匹配成功后，将所述事件发送给订阅关系处理单元；
所述订阅关系处理单元查阅所述事件的订阅信息，将所述订阅信息和所述事件发送给封装单元；
所述封装单元根据所述订阅信息对所述事件进行封装并分发。
2.根据权利要求1所述的基于流处理的事件处理方法，其特征在于，预处理单元对事件进行预处理，具体包括：
预处理单元对事件进行清洗，将清洗后的事件进行标准化处理。
3.根据权利要求1或2所述的基于流处理的事件处理方法，其特征在于，所述事件匹配规则包括：简单事件匹配规则和复杂事件匹配规则，其中，所述简单事件匹配规则包括：事件源编码、事件标识、事件名称、生失效标识和规则表达式中的至少一种；所述复杂事件匹配规则包括：至少一个简单事件，以及每个简单事件的成立时间。
4.根据权利要求3所述的基于流处理的事件处理方法，其特征在于，所述流处理平台将所述事件与预设的事件匹配规则进行匹配，当匹配成功后，将所述事件发送给订阅关系处理单元，具体包括：
所述流处理平台判断所述事件是简单事件或复杂事件，如果是简单事件，则将所述事件与所述简单事件匹配规则进行匹配，当匹配成功后，将所述事件发送给订阅关系处理单元；
如果是复杂事件，则将所述事件通过所述复杂事件匹配规则拆分成简单事件，再将拆分后的简单事件与所述简单事件匹配规则进行匹配，当匹配成功后，将简单事件发送给复杂事件匹配单元；
所述复杂事件匹配单元查询所述简单事件所属的复杂事件的匹配时长和关联的简单事件的列表，将关联的简单事件存储在缓存中，并将有效期设置为所述匹配时长，遍历所述简单事件的列表，查询所述缓存中是否存在拆分后的简单事件，如果全部存在，则将全部简单事件拼装后作为匹配数据发送给订阅关系处理单元。
5.根据权利要求1所述的基于流处理的事件处理方法，其特征在于，所述封装单元根据所述订阅信息对所述事件进行封装并分发，具体包括：
所述封装单元根据所述订阅信息判断当前时间是否在所述事件的订阅时间段内，如果在，则根据所述订阅信息判断是否满足订阅频次要求，如果满足，则根据所述订阅信息将所述事件按照订阅格式进行拼装，...
【专利技术属性】
技术研发人员：况卫飞，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。