数据处理方法、装置、计算机设备和计算机可读存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、计算机设备和计算机可读存储介质，通过计算引擎获取待处理数据，对待处理数据进行处理，得到处理后数据；根据处理后数据对计算引擎的状态后端的数据状态进行更新，得到更新后数据状态；将处理后数据以及更新后数据状态保存至外部文件中；向请求数据的数据接收端发送处理后数据，并在外部文件对已发送至数据接收端的处理后数据进行标识；当数据状态被恢复至检查点事件指示的存盘数据状态时，从外部文件中获取未被标识的目标处理后数据以及目标处理后数据对应的目标数据状态；根据目标数据状态对状态后端的存盘数据状态进行更新，并将目标处理后数据发送至数据接收端，可以避免数据重发和漏发。漏发。漏发。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备和计算机可读存储介质


[0001]本申请涉及通信
，具体涉及一种数据处理方法、装置、计算机设备和计算机可读存储介质。

技术介绍

[0002]在大数据领域，可以采用计算引擎，例如flink、MapReduce以及spark计算引擎进行数据数量，和与外部系统进行数据交互。有些计算引擎设置有保证数据一致性的机制，可以自动处理计算引擎内部的数据一致性，对于与外部系统交互的数据的一致性无法保证，当计算引擎发生服务异常，计算引擎重启时，数据状态恢复至在检查点事件指示的存盘点状态，计算引擎会重新发送在存盘数据状态之后得到的处理后数据，且不会发送在存盘数据状态之前，得到的处理后数据，导致向外部系统发送的数据重复或者漏发等问题。

技术实现思路

[0003]本申请实施例提供一种数据处理方法、装置、计算机设备和计算机可读存储介质，当计算引擎发生服务异常重启时，计算引擎的数据状态会恢复至检查点事件指示的存盘点状态，可以根据外部文件中存储的数据状态，对数据后端中的存盘数据状态进行更新，并根据外部文件中存储的数据标识确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：通过计算引擎获取待处理数据，根据所述计算引擎的状态后端中的数据状态对所述待处理数据进行处理，得到处理后数据；根据所述处理后数据对所述计算引擎的状态后端的数据状态进行更新，得到更新后数据状态；将所述处理后数据以及所述更新后数据状态保存至外部文件中；向请求数据的数据接收端发送所述处理后数据，并在所述外部文件对已发送至所述数据接收端的处理后数据进行标识；当所述计算引擎发生服务异常，所述数据状态被恢复至检查点事件指示的存盘数据状态时，从所述外部文件中，获取存储的未被标识的目标处理后数据，以及所述目标处理后数据对应的目标数据状态；根据所述目标数据状态对所述状态后端的存盘数据状态进行更新，并将目标处理后数据发送至所述数据接收端。2.根据权利要求1所述的方法，其特征在于，所述在所述外部文件对已发送至所述数据接收端的处理后数据进行标识，包括：获取所述已发送至数据接收终端的处理后数据对应的数据标识；将所述数据标识存储于所述外部文件中预设的索引文件中。3.根据权利要求1所述的方法，其特征在于，所述向请求数据的数据接收端发送所述处理后数据，并在所述外部文件对已发送至所述数据接收端的处理后数据进行标识，包括：将所述处理后数据提交至消息队列中，以便通过所述消息队列将所述处理后数据发送至所述数据接收端；在所述外部文件对已提交至所述消息队列的处理后数据进行标识。4.根据权利要求3所述的方法，其特征在于，所述将目标处理后数据发送至所述数据接收端，包括：获取所述消息队列中的处理后数据对应的数据标识；若所述消息队列中的数据标识与所述目标处理后数据对应的数据标识不匹配，则将所述目标处理后数据发送至所述消息队列中，以便通过所述消息队列将所述处理后数据发送至所述数据接收端。5.根据权利要求1所述的方法，其特征在于，所述通过计算引擎获取待处理数据，包括：接收待处理数据，并将所述待处理数据存储至数据接收队列中；通过计算引擎从所述数据接收队列中，获取待处理数据。6.根据权利要求5所述的方法，其特征在于，所述通过计算引擎从所述数据接收队列中，获取待处理数据之后，所述方法还包括：将所述待处理数据在所述数据接收队...

【专利技术属性】
技术研发人员：桑文锋，曹犟，刘耀洲，付力力，郭雪东，
申请(专利权)人：神策网络科技北京有限公司，
类型：发明
国别省市：