一种实时数据处理方法及装置制造方法及图纸

本发明专利技术实施例公开了一种实时数据处理方法及装置，涉及互联网电子商务领域，能够提高对于异常数据的处理效率，减少异常数据造成的销售损失。本发明专利技术包括：在将接收到的实时流式数据导入STORM后，获取实时流式数据对应的业务主键；当在REDI S中检测到所述业务主键不存在时，将所述业务主键存入到所述RED I S中，并在二层检测开关开启时，检测在DB中是否存在所述业务主键；当在所述DB中检测到所述业务主键不存在时，将所述业务主键存入到所述DB中；当在所述RED I S和所述DB的任一项中，检测到所述业务主键已存在时，判定所述接收到的实时流式数据为异常数据。本发明专利技术适用于实时流式数据去重。

【技术实现步骤摘要】
一种实时数据处理方法及装置
本专利技术涉及互联网电子商务领域，尤其涉及一种实时数据处理方法及装置。
技术介绍
随着电子商务技术的发展，实时流式数据在订单处理、价格维护等实时性要求较高的场景中得到了推广和使用，尤其是对于网购平台上的价格维护，采用GMV(GrossMerchandiseVolume，网站成交金额)系统处理实时流式数据。但是，在实际使用的过程中，无论是上游数据重复采集，还是在业务处理过程中由于延时等原因造成的数据的重复下发，都会造成GMV的下游数据的不准确的问题，GMV的下游数据的不准确，就会造成价格维护的结果出错，使得运营商和用户无法获取正确的价格。又由于数据流是实时下发的，不便于异常数据原因的排查。异常数据最终所导致的错误的价格结果，就会给运营商造成销售损失。目前用于解决价格维护中数据的重复下发问题的方案，主要是通过网络爬虫或者人工巡检员实时监控显示价格的页面，被动地发现已经出现的异常数据，再通知运维部门的人员异常数据，处理效率低，且难以减少异常数据造成的销售损失。
技术实现思路
本专利技术的实施例提供一种实时数据处理方法及装置，能够提高对于异常数据的处理效率，减少异常数据造成的销售损失。为达到上述目的，本专利技术的实施例采用如下技术方案：第一方面，本专利技术的实施例提供的方法，包括：在将接收到的实时流式数据导入STORM后，获取实时流式数据对应的业务主键；当在REDIS中检测到所述业务主键不存在时，将所述业务主键存入到所述REDIS中，并在二层检测开关开启时，检测在DB中是否存在所述业务主键；当在所述DB中检测到所述业务主键不存在时，将所述业务主键存入到所述DB中；当在所述REDIS和所述DB的任一项中，检测到所述业务主键已存在时，判定所述接收到的实时流式数据为异常数据。结合第一方面，在第一方面的第一种可能的实现方式中，还包括：当判定所述接收到的实时流式数据为异常数据之后，将所述业务主键记录到异常数据表中，并对所述异常数据进行去重处理。结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，还包括：当扫描到所述异常数据表出现增量信息后，查询所配置的客户端设备；根据所述增量信息生成告警信息，并向所述客户端设备发送。结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，还包括：根据所述增量信息，确定所述异常数据对应的业务链路环节；将所确定的业务链路环节记录在所述告警信息中。结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述查询所配置的客户端设备，包括：获取所述所确定的业务链路环节对应的员工标识；查询与所述员工标识向关联的客户端设备。第二方面，本专利技术的实施例提供的装置，包括：提取模块，用于在将接收到的实时流式数据导入STORM后，获取实时流式数据对应的业务主键；第一去重模块，用于当在REDIS中检测到所述业务主键不存在时，将所述业务主键存入到所述REDIS中，并在二层检测开关开启时，检测在DB中是否存在所述业务主键；第二去重模块，用于当在所述DB中检测到所述业务主键不存在时，将所述业务主键存入到所述DB中；异常处理模块，用于当在所述REDIS和所述DB的任一项中，检测到所述业务主键已存在时，判定所述接收到的实时流式数据为异常数据。结合第二方面，在第二方面的第一种可能的实现方式中，所述异常处理模块，还用于当判定所述接收到的实时流式数据为异常数据之后，将所述业务主键记录到异常数据表中，并对所述异常数据进行去重处理。结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，还包括：告警模块，用于当扫描到所述异常数据表出现增量信息后，查询所配置的客户端设备；根据所述增量信息生成告警信息，并向所述客户端设备发送。结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述告警模块，还用于根据所述增量信息，确定所述异常数据对应的业务链路环节；并将所确定的业务链路环节记录在所述告警信息中。结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述告警模块，具体用于获取所述所确定的业务链路环节对应的员工标识；并查询与所述员工标识向关联的客户端设备。本专利技术实施例提供的实时数据处理方法及装置，当实时数据流下发的时候，根据业务主键查询REDIS，如果没有则将业务主键存入到REDIS，如果有则认为数据已下发无需再存入并作过滤。在DB防重层，采用的DB业务主键防重的方法，实时数据流流转至DB后，查找在DB表中是否存在这个业务主键，如果没有则插入，有则认为是重复下发的异常数据，需要进行过滤操作。相对于现有技术中被动地发现已经出现的异常数据，再通知运维部门的人员异常数据的处理方式，本专利技术实施例提高了对于异常数据的处理效率，减少异常数据造成的销售损失。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1a为本专利技术实施例提供的系统架构示意图；图1b为本专利技术实施例提供的系统技术框架示意图；图1c为本专利技术实施例提供的系统应用框架示意图；图1d为本专利技术实施例提供的实时数据流的流向的示意图；图2为本专利技术实施例提供的方法流程示意图；图3、图4为本专利技术实施例提供的装置结构示意图。具体实施方式为使本领域技术人员更好地理解本专利技术的技术方案，下面结合附图和具体实施方式对本专利技术作进一步详细描述。下文中将详细描述本专利技术的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本专利技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。本实施例中的方法流程，具体可以在一种如图1a所示的系统上执行，该系统包括：业务系统、GMV(GrossMerchandiseVolume，网站成交金额)系统、数据库。其中：本实施例中所揭示的业务系统，具体可以是在线购物平台，物流订单系统，库存系统等各类电子商务领域相关的在线系统。一般来说，业务系统主要用于与海量的消费者终端设备进行数据交互，比如：消费者或者商户通本文档来自技高网...

【技术保护点】
一种实时数据处理的方法，其特征在于，包括：在将接收到的实时流式数据导入STORM后，获取实时流式数据对应的业务主键；当在REDIS中检测到所述业务主键不存在时，将所述业务主键存入到所述REDIS中，并在二层检测开关开启时，检测在DB中是否存在所述业务主键；当在所述DB中检测到所述业务主键不存在时，将所述业务主键存入到所述DB中；当在所述REDIS和所述DB的任一项中，检测到所述业务主键已存在时，判定所述接收到的实时流式数据为异常数据。

【技术特征摘要】
1.一种实时数据处理的方法，其特征在于，包括：在将接收到的实时流式数据导入STORM后，获取实时流式数据对应的业务主键；当在REDIS中检测到所述业务主键不存在时，将所述业务主键存入到所述REDIS中，并在二层检测开关开启时，检测在DB中是否存在所述业务主键；当在所述DB中检测到所述业务主键不存在时，将所述业务主键存入到所述DB中；当在所述REDIS和所述DB的任一项中，检测到所述业务主键已存在时，判定所述接收到的实时流式数据为异常数据。2.根据权利要求1所述的方法，其特征在于，还包括：当判定所述接收到的实时流式数据为异常数据之后，将所述业务主键记录到异常数据表中，并对所述异常数据进行去重处理。3.根据权利要求2所述的方法，其特征在于，还包括：当扫描到所述异常数据表出现增量信息后，查询所配置的客户端设备；根据所述增量信息生成告警信息，并向所述客户端设备发送。4.根据权利要求3所述的方法，其特征在于，还包括：根据所述增量信息，确定所述异常数据对应的业务链路环节；将所确定的业务链路环节记录在所述告警信息中。5.根据权利要求4所述的方法，其特征在于，所述查询所配置的客户端设备，包括：获取所述所确定的业务链路环节对应的员工标识；查询与所述员工标识向关联的客户端设备。6.一种实时数据处理的装置，其特征在于，包括：提取模...

【专利技术属性】
技术研发人员：孙迁，叶国华，钱津津，吴金迎，范东，
申请(专利权)人：苏宁云商集团股份有限公司，
类型：发明
国别省市：江苏,32