【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
本申请实施例涉及数据处理
，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
随着用户规模的增加、产生数据量的快速增长，云平台承载的用户所需的资源越来越多。为应对激烈的市场竞争，运营商越来越依赖精确化的数据统计分析以实现科学管理和决策。数据质量的好坏直接关系到信息提供的准确程度。数据质量问题得不到有效解决，数据资产将不能有效反映企业运营和市场事实，经营决策将失去可靠依据。大数据时代，数据爆炸式增长。海量的数据为运营商带来大量的信息资产。因此，围绕企业大数据的生命周期，实现对关键数据的全过程质量监控尤为重要。但是现有技术中在对消息的监控稽核时，无法有效地实现对数据归集，进而无法实时有效地监控消息接入数据与落地数据消息是否平衡。
技术实现思路
本申请实施例提供一种数据处理方法、装置、设备及存储介质，以克服现有技术中无法有效地实现对数据归集，进而无法实现监控消息接入数据与落地数据消息是否平衡的问题。第一方面，本申请实施例提供一种数据处理...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n第一服务器接收第一Kafka实时发送的多条第一消息；/n所述第一服务器对所述多条第一消息进行数据关联，生成多个第一订单数据，每个所述第一订单数据中包括属于相同业务的同一用户对应的至少一条第一消息；/n所述第一服务器对所述多个第一订单数据进行标准化处理，得到多条第二消息；/n所述第一服务器将所述多条第二消息存储至第二Kafka中；/n第二服务器将监控得到的所述多条第一消息和所述多条第二消息进行比对，确定所述第一服务器的接入数据和所述第一服务器的落地数据是否一致；/n其中，所述接入数据为所述多条第一消息，所述落地数据为所述多条第二消息。/n
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
第一服务器接收第一Kafka实时发送的多条第一消息；
所述第一服务器对所述多条第一消息进行数据关联，生成多个第一订单数据，每个所述第一订单数据中包括属于相同业务的同一用户对应的至少一条第一消息；
所述第一服务器对所述多个第一订单数据进行标准化处理，得到多条第二消息；
所述第一服务器将所述多条第二消息存储至第二Kafka中；
第二服务器将监控得到的所述多条第一消息和所述多条第二消息进行比对，确定所述第一服务器的接入数据和所述第一服务器的落地数据是否一致；
其中，所述接入数据为所述多条第一消息，所述落地数据为所述多条第二消息。
2.根据权利要求1所述的方法，其特征在于，在所述第一服务器接收第一Kafka实时发送的多条第一消息之后，所述方法还包括；
所述第二服务器监控所述多条第一消息的第一数据量，若所述第一数据量大于第一预设阈值，则确定所述第一服务器接收到的第一Kafka实时发送的多条第一消息存在消息的积压状态；和/或
在所述生成多个第一订单数据之后，所述方法还包括：
所述第二服务器监控所述多个第一订单数据的第二数据量，若所述第二数据量大于第二预设阈值，则确定所述第一服务器生成的多个第一订单数据存在消息的积压状态；和/或
在所述得到多条第二消息之后，所述方法还包括：
所述第二服务器监控所述多条第二消息的第三数据量，若所述第三数据量大于第三预设阈值，则确定所述第一服务器对所述多个第一订单数据进行标准化处理得到的多条第二消息存在消息的积压状态。
3.根据权利要求1所述的方法，其特征在于，在所述第一服务器接收第一Kafka实时发送的多条第一消息之后，所述方法还包括：
所述第一服务器对每条所述第一消息添加唯一标识；
所述第一服务器将每条所述第一消息存储至预设数据库的消息表中，每条所述第一消息携带有用于表示消息是否完成的计数标记；
所述第一服务器根据接收每条所述第一消息的顺序，将每条所述第一消息的唯一标识存储至预设数据库的时序表中，所述时序表为所述消息表的二级索引。
4.根据权利要求3所述的方法，其特征在于，在所述第一服务器对所述多条第一消息进行数据关联之前，所述方法还包括：
所述第二服务器通过所述预设数据库，查询每条所述第一消息携带的所述用于表示消息是否完成的计数标记；
若所述用于表示消息是否完成的计数标记表示消息未完成，则所述第二服务器向所述第一服务器发送数据处理指示信息，所述数据处理指示信息用于指示所述第一服务器对所述多条第一消息进行数据关联。
5.根据权利要求4所述的方法，其特征在于，在所述第一服务器将所述多条第二消息存储至第二Kafka中之后，所述方法还包括：
所述第一服务器根据所述多条第二消息中包含的用户信息，对所述多条第二消息进行数据关联，生成多个...
【专利技术属性】
技术研发人员：刘岩，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。