【技术实现步骤摘要】
消息传输方法、装置、设备及存储介质
本专利技术实施例涉及数据处理
，尤其涉及一种消息传输方法、装置、设备及存储介质。
技术介绍
在分布式数据传输系统中，机器故障、系统更新、强依赖抖动以及其它偶发错误，都可能导致系统重启。目标主要基于ETL机制，通过对每条消息的流式传输系统的订阅进度系统的水位和消息数据进行事务性的持久化，保障强一致性。这样消息数据在流式传输系统，流式系统和文件系统中各存了一份，浪费了资源。并且，由于对数据进行备份，还导致数据传输速率低。
技术实现思路
鉴于上述问题，本专利技术实施例中提供了一种消息传输方法、装置、设备及存储介质，以实现在不对消息数据持久化的同时，保证消息数据和系统传输进度的一致性。第一方面，本专利技术实施例中提供了一种消息传输方法，由输入设备执行，所述方法包括：根据从消息提供方获取的当前消息数据，向输出设备发送当前消息传输报文，其中所述当前消息传输报文中包括所述当前消息数据和传输进度信息；在系统处于正常传输状态过程中，获取所述输出设备在向消息存储方发送所述当前消息数据之后，反馈的确认接收报文；向持久化存储系统发送所述确认接收报文中...
【技术保护点】
1.一种消息传输方法，其特征在于，由输入设备执行，所述方法包括：根据从消息提供方获取的当前消息数据，向输出设备发送当前消息传输报文，其中所述当前消息传输报文中包括所述当前消息数据和传输进度信息；在系统处于正常传输状态过程中，获取所述输出设备在向消息存储方发送所述当前消息数据之后，反馈的确认接收报文；向持久化存储系统发送所述确认接收报文中的传输进度信息，供持久化存储系统存储所述当前消息数据的传输进度信息，作为当前消息数据的输入进度信息。
【技术特征摘要】
1.一种消息传输方法，其特征在于，由输入设备执行，所述方法包括：根据从消息提供方获取的当前消息数据，向输出设备发送当前消息传输报文，其中所述当前消息传输报文中包括所述当前消息数据和传输进度信息；在系统处于正常传输状态过程中，获取所述输出设备在向消息存储方发送所述当前消息数据之后，反馈的确认接收报文；向持久化存储系统发送所述确认接收报文中的传输进度信息，供持久化存储系统存储所述当前消息数据的传输进度信息，作为当前消息数据的输入进度信息。2.根据权利要求1所述的方法，其特征在于，向持久化存储系统发送所述确认接收报文中的传输进度信息之后，还包括：若检测到所述持久化存储系统中存储有当前消息数据的输入进度信息，则生成当前消息数据的去重指令，并向所述消息提供方发送所述去重指令，以指示所述消息提供方删除所述当前消息数据。3.根据权利要求1所述的方法，其特征在于，所述传输进度信息包括当前消息数据在所述消息提供方中的位置信息和系统全局消息传输进度。4.一种消息传输方法，其特征在于，由输出设备执行，所述方法包括：在系统处于正常传输状态过程中，接收输入设备根据从消息提供方获取的当前消息数据所发射的当前消息传输报文，其中所述当前消息传输报文中包括所述当前消息数据和传输进度信息；在向消息存储方发送所述当前消息数据之后，向输入设备反馈确认接收报文，供所述输入设备向持久化存储系统发送所述确认接收报文中的传输进度信息。5.根据权利要求4所述的方法，其特征在于，在向消息存储方发送所述当前消息数据之后，且向输入设备反馈确认接收报文之前，还包括：向所述持久化存储系统发送当前消息数据的输出进度信息。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：在系统处于异常重启状态过程中，在接收输入设备发送的任一消息传输报文之后，确定所述持久化存储系统中是否存储有该消息的输出进度信息；若所述持久化存储系统中存储有该消息的输出进度信息，则向输入设备反馈该消息的确认接收报文，供所述输入设备根据该消息的确认接收报文指示消息提供方对该消息进行去重。7.根据权利要求6所述的方法，其特征在于，确定所述持久化存储系统中是否存储有该消息的输出进度信息之后，还包括：若所述持久化存储系统中未存储有该消息的输出进度信息，则将系统切换到正常传输状态，并执行消息传输操作。8.根据权利要求4所述的方法，其特征在于，所述传输进度信息包括当前消息数据在所述消息提供方中的位置信息和系统全局消息传输进度。9.一种消息传输装置，其特征在于，配置于输入设备，所述装置包括：传输报文发送模块，用于根据从消息提供方获取的当前消息数据，向输出设备发送当前消息传输报文，其中所述当前消息传输报文中包括所述当前消息数据和传输...
【专利技术属性】
技术研发人员：邢越，赵得润，汪婷，詹洋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。