通过数据流送应用中的部署自动化来确保数据质量制造技术

描述了一种框架，其允许数据流送应用在更新操作期间和普通操作期间都确保高可靠性。可以记录反映从源发送到流送应用的消息的唯一事件ID计数。在更新和服务重新启动后，可以再次收集计数以查看数据是否按预期流过流送应用。可以查看唯一数据库记录计数(例如在重新启动后或在普通操作期间)以确保没有记录被意外丢弃。还可以执行数据内容采样以查看任何数据转换是否正常运行。还可以采取纠正措施(在重新启动后或在普通操作期间)，包括重放已丢弃的数据库消息或发送警报。弃的数据库消息或发送警报。弃的数据库消息或发送警报。

【技术实现步骤摘要】
【国外来华专利技术】通过数据流送应用中的部署自动化来确保数据质量


[0001]根据各种实施例，本公开涉及数据流送平台的改进，并且更具体地涉及在正常操作和部署/更新操作期间数据流送的可靠性和可用性。

技术介绍

[0002]数据流送服务可以向用户提供各种信息。在某些情况下，例如社交媒体平台，如果该平台直到几分钟甚至几小时后才将帖子提供给其他人查看，这可能没有问题。例如，用户可能不会注意到(或关心)是否有服务中断导致向他们显示某些内容的时间明显延迟或者甚至根本不向他们显示。
[0003]然而，在其他情况下，数据流送服务的用户可能对查看以快速且可靠的方式显示的新的流送信息特别感兴趣。当数据流送服务不间断地(例如，每天24小时，每周7天)提供流送内容时，提供最高级别的可靠性可能具有挑战性。在正常操作期间遇到的技术困难或其他状况可能会导致流送应用的数据延迟和/或丢失。向平台流送服务更新部署也可能导致服务中断。申请人认识到可以改进数据流送服务以在普通操作期间和新代码部署/更新期间的操作期间都提供更好的可靠性。
附图说明
[0004]图1示出了根据一些实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：处理器；和存储器，所述存储器上存储有指令，所述指令能被执行以使所述系统执行操作，所述操作包括：中止流处理应用；为所述流处理应用保存备份检查点；在所述中止之后，执行更新，所述更新包括向所述流处理应用添加一个或多个新可执行文件；在所述更新之后，重新启动所述流处理应用；在所述重新启动之后，对所述流处理应用执行验证，包括：对于所述重新启动之后的第一时间窗，收集第一多个入站唯一事件ID，其中所述第一多个入站唯一事件ID中的每一个对应于特定的数据库记录；在所述第一时间窗结束之后，确定所述第一多个唯一事件ID中的每一个是否已经在从所述流处理应用出站的位置处被收集；并且将预处理数据内容与所述流处理应用输出的后处理数据内容进行比较；响应于所述验证不成功，将所述流处理应用回滚到所述备份检查点；以及响应于所述验证成功，确定不将所述流处理应用回滚到所述备份检查点，并允许所述流处理应用使用所添加的所述一个或多个新可执行文件进行操作。2.如权利要求1所述的系统，其中确定所述第一多个唯一事件ID中的每一个是否已经在从所述流处理应用出站的位置处被收集包括：在确定给定的唯一事件ID是否丢失之前等待一段特定时间段。3.如权利要求2所述的系统，其中所述操作还包括：在所述重新启动之前将所述流处理应用置于维护模式，其中所述维护模式防止重新启动由于所述维护模式开启而中止的数据管线。4.如权利要求2所述的系统，其中所述维护模式防止所述流处理应用启动新数据管线。5.如权利要求1所述的系统，其中对所述流处理应用执行验证包括：验证所述流处理应用的处理状态不包括任何错误。6.如权利要求1所述的系统，其中保存所述备份检查点包括：保存所述流处理应用的第一可执行文件的副本，所述第一可执行文件将被所述一个或多个新可执行文件中的特定的新可执行文件替换。7.如权利要求6所述的系统，其中将所述流处理应用回滚到所述备份检查点包括：移除所述特定的新可执行文件并将所述特定的新可执行文件替换为所保存的所述第一可执行文件的所述副本。8.如权利要求1所述的系统，其中中止所述流处理应用包括：停止所述流处理应用的一个或多个可执行进程的执行。9.如权利要求8所述的系统，其中重新启动所述流处理应用包括：发起对所述流处理应用的所停止的一个或多个可执行进程的执行。10.一种涉及更新流处理应用的方法，包括：为所述流处理应用保存备份检查点；
计算机系统中止所述流处理应用；在所述中止之后，所述计算机系统执行对所述流处理应用的更新，包括向所述流处理应用添加一个或多个新可执行文件；在所述更新之后，所述计算机系统重新启动所述流处理应用；在所述重新启动之后，对所述流处理应用执行验证，包括：对于所述重新启动之后的第一时间窗，收集第一多个入站唯一事件ID，其中所述第一多个入站唯一事件ID中的每一个对应于特定的数据库记录；并且在所述第一时间窗结束之后，确定所述第一多个唯一事件ID中的...

【专利技术属性】
技术研发人员：西达尔特，
申请(专利权)人：贝宝公司，
类型：发明
国别省市：