数据处理方法、系统、设备、介质和程序产品技术方案

本发明专利技术涉及计算机数据处理领域，特别涉及一种数据处理方法，该方法包括数据获取步骤，获取来自数据源的数据；数据分流步骤，基于所述数据的唯一标识符对所述数据分流；数据发送步骤，发送所述数据，并基于所述数据的处理结果更新位点信息，所述位点信息是处理与未处理所述数据的分界点。本发明专利技术还涉及一种数据处理系统、设备、介质和程序产品。本发明专利技术通过采用多线程内存缓存策略来保证数据的高效同步，同时使用同类型数据分流保证数据同步时的有序性，在数据处理完毕之后更新位点信息，来保证数据的可靠性。的可靠性。的可靠性。

【技术实现步骤摘要】
数据处理方法、系统、设备、介质和程序产品


[0001]本专利技术涉及计算机数据处理领域，特别涉及一种数据处理方法、系统、设备、介质和程序产品。

技术介绍

[0002]在实际业务场景中，进行数据同步的过程中，如何同时保证高效和可靠，成为了目前行业需要持续解决的问题。其中，在高效同步数据的同时，保证数据在任何情况下不丢失，成为行业中尤其亟待解决的核心问题。
[0003]目前市面上的数据同步工具如果要保证数据的可靠性，都是采取磁盘缓存方式，由于需要进行磁盘读写，同步效率极其低下。如果需要高效同步，会采用内存缓存方式，但在宕机后存在数据丢失，两者无法在性能与可靠中获得一个平衡点，需要一种高性能、高可靠的数据同步方法，解决数据同步应用的痛点和难点。
[0004]本专利技术提供了一种高性能高可靠的数据同步技术，能够保证高效同步数据的同时，在任何情况下都不会出现数据丢失的问题。

技术实现思路

[0005]本专利技术的目的在于提供一种数据处理方法、系统、设备、介质和程序产品，本专利技术通过对数据信息、记录位点信息的处理来解决数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，用于电子设备，其特征在于，包括：数据获取步骤，获取来自数据源的数据；数据分流步骤，基于所述数据的唯一标识符对所述数据分流；数据发送步骤，发送所述数据，并基于所述数据的处理结果更新位点信息，所述位点信息是处理与未处理所述数据的分界点。2.根据权利要求1所述的一种数据处理方法，其特征在于，所述数据分流步骤还包括，对所述唯一标识符进行哈希计算，将具有相同的所述唯一标识符的数据加入同一内存队列。3.根据权利要求1所述的一种数据处理方法，其特征在于，所述数据发送步骤中，基于所述数据的处理结果更新所述位点信息包括，在完成对所述数据处理的情况下，更新所述内存队列中的位点信息，在没完成对所述数据处理的情况下，重新发送所述数据。4.一种数据处理系统，其特征在于，包括：数据获取模块，获取来自数据源的数据；数据分流模块，基于所述数据的唯一标识符对所述数据分流；数据发送模块，发送所述数据，并基于所述数据的处理结果更新位点信息，所述位点信息是处理与未处理所述数据的分界点。...

【专利技术属性】
技术研发人员：程睿，周津，王力，王健达，孙泽宇，苏向东，
申请(专利权)人：数数信息科技上海有限公司，
类型：发明
国别省市：