数据处理方法技术

本申请提供一种数据处理方法，其包括：获取待业务处理的包含业务数据的一项或多项数据中的一项数据，根据预定规则为所述一项数据生成交互号以及与所述交互号对应的编号，建立映射表对该交互号和该编号生成映射关系，在主数据库对应所述一项数据的该编号指示的分库和分表中的存储位置，存储所述一项数据、其交互号、其编号，发送所述一项数据的业务数据和该交互号以进行业务处理。本申请的方法改进分布式系统存储查找方式，能精确定位数据所在的库与表，避免对数据库全库表扫描，降低了数据库的开销，提升了系统处理数据的能力。

【技术实现步骤摘要】
数据处理方法
本申请涉及分布式
，尤其涉及分布式系统的多个系统之间交互的数据处理的方法。
技术介绍
在两个（或多个）系统之间传递一项数据时，通常第一系统会根据第二系统的要求生成固定长度的交互号，并将该项数据存入第一系统的数据库中的一个分库及该分库中的一个分表，然后将包括该交互号的数据发送给第二系统，第二系统在处理完毕后，会将该交互号和数据返回给第一系统。而在分布式数据库的应用系统中，通常采用分库分表模式，第一系统无法确定该第二系统传回的交互号对应的数据存在于哪个分库、哪个分表（即不确定一项包含业务数据的数据信息所在的库表），必须逐个扫描所有的库表即数据库全表扫描遍历，以找到某项数据所在库表，效率低下，其无法精确定位数据所存储的库表，因而对系统性能，特别是数据库性能影响很大，导致诸如数据处理性能效率随之降低、应用系统的整体处理性能低、数据库开销增大等缺陷。即便利用单数据库模式，其扩展性差，业务数据量容易增长到单数据库表无法支撑的情况（数据库性能低）。
技术实现思路
本申请为克服上述缺陷，提供一种数据处理方法。主要目的在于解决分布式系统中，采用生成的交互号存储数据，以及相应地利用交互号、分库号、分表号存储、并在两个系统间发送和接收数据，提升系统数据处理性能的问题。根据本申请的一个方面，提供一种数据处理方法，包括：获取待业务处理的一项或多项数据中的一项数据，所述一项数据包括业务数据；根据预定规则为所述一项数据生成交互号以及与所述交互号对应的编号；建立映射表，在映射表中对所述一项数据生成所述交互号以及与所述交互号对应的所述编号的映射关系；在主数据库对应所述一项数据的所述编号指示的分库和分表中的存储位置，存储所述一项数据、所述一项数据的所述交互号以及所述编号；发送所述一项数据的所述业务数据以及对应的所述交互号，以进行业务处理。进一步的，预定规则包括：第一预定规则和第二预定规则；其中，根据第一预定规则为所述一项数据生成交互号；根据第二预定规则为所述一项数据生成与所述交互号对应的编号。进一步的，还包括：所述一项数据的所述业务数据处理完毕后形成更新后的业务数据，接收返回的所述一项数据的所述更新后的业务数据以及对应的所述交互号；根据所述一项数据的所述交互号及所述映射关系，查找映射表中所述交互号对应的所述编号，以确定所述一项数据在主数据库的分库和分表中存储的位置；根据映射表中查找到的所述编号，在主数据库对应所述编号的分库和分表中的存储位置，找到所述一项数据，并由所述更新后的业务数据更新存储的所述一项数据中的所述业务数据。进一步的，所述编号为主ID，所述主ID包括分库号和分表号，所述主ID用于在主数据库中标识所述一项数据，所述分库号和分表号用于确定所述一项数据在主数据库的所述分库和分表中存储的位置；在映射表中对所述一项数据生成所述交互号以及与交互号对应的所述编号的映射关系，包括：将所述交互号与所述主ID对应存储以生成映射关系，所述映射关系用于根据所述交互号或所述主ID能快速查找对应的所述主ID或对应的所述交互号。进一步的，根据第二预定规则为所述一项数据生成与交互号对应的编号包括：根据第二预定规则为所述一项数据生成所述分库号和分表号，所述分库号和分表号写入主ID中，由所述分库号和分表号指示主数据库中的分库和分表中的存储位置。进一步的，所述第一预定规则还包括：每获取一项数据均为其生成的交互号，并且，是在上一次获取的一项数据生成的交互号上加1；当获取的一项数据生成的交互号为预先限定的最大值时，下一次获取的一项数据的所述交互号为预先确定的交互号。根据本专利技术的另一个方面，提供一种数据处理方法，包括：获取待业务处理的一项或多项数据中的一项数据，所述一项数据包括业务数据；根据预定规则为所述一项数据生成数据编号、以及与所述数据编号对应的位置编号；根据所述数据编号和所述位置编号，生成所述一项数据的交互号，所述交互号包括所述数据编号和所述位置编号；在主数据库对应所述一项数据的所述位置编号指示的分库和分表中的存储位置，存储所述一项数据以及所述一项数据的所述交互号；发送所述一项数据的所述业务数据以及对应的所述交互号，以进行业务处理。进一步的，所述预定规则包括：第三预定规则和第四预定规则；其中，根据第三预定规则为所述一项数据生成数据编号；根据第四预定规则为所述一项数据生成与所述数据编号对应的位置编号。进一步的，还包括：所述一项数据的所述业务数据处理完毕后形成更新后的业务数据，接收返回的所述一项数据的所述更新后的业务数据以及对应的所述交互号；根据所述一项数据的所述交互号中的所述位置编号，确定所述一项数据在主数据库的分库和分表中存储的位置；在主数据库对应所述位置编号的分库和分表中的存储位置，找到所述一项数据，并由所述更新后的业务数据更新存储的所述一项数据中的所述业务数据。进一步的，所述数据编号用于在主数据库中标识所述一项数据；所述位置编号包括分库号和分表号，所述分库号和分表号用于确定所述一项数据在主数据库的分库和分表中存储的位置；所述交互号包括所述数据编号以及所述分库号和分表号；在主数据库对应所述位置编号的分库和分表中的存储位置，找到所述一项数据，包括：根据返回的所述交互号中的所述数据编号确定主数据库中存在所述一项数据，并根据所述交互号中的所述分库号和分表号，找到主数据库中对应所述分库号和分表号指示的分库和分表中的所述一项数据的存储位置，从而找到所述一项数据。进一步的，根据第四预定规则为所述一项数据生成与数据编号对应的位置编号，包括：根据第四预定规则为所述一项数据生成所述分库号和分表号，由所述分库号和分表号指示主数据库中的分库和分表中的存储位置。进一步的，所述第三预定规则还包括：每获取一项数据为其生成的数据编号，是在上一次获取的一项数据生成的数据编号上加1；当获取的一项数据生成的数据编号为预先限定的最大值时，下一次获取的一项数据的所述数据编号为预先确定的数据编号。与现有技术相比，根据本申请的技术方案，本申请可以让应用程序精确定位交互号以及其对应的数据所在的库与表，避免对数据库全库表扫描，有效提升了应用的处理性能，降低了数据库的开销，在其他相同条件下提升了系统处理数据的能力。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请的方案的实施例1的工作示意图；图2是根据本申请的方案的实施例2的工作示意图；图3是根据本申请的方案的实施例3的工作示意图；图4是根据本申请的方案的实施例4的工作示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。实施例1提供一种数据处理方法。参考图1，图1是本申请的方案实施例1的示意图，即改进了系统之间传递的数据的处理：在第一系统中组织数据的存储，并将获得并存储后的数据传递给负责业务处理的第二系统进行处理，如下面步骤a至e；将完成业务处理后的数据再返回第一系统更新存储数据的过程，如下面步骤f至i。定位数据迅速，提升了整体系统的性能。a，获取待业务处理的一项或多项数据中的一项数据101，所述一项数据包括业务数据102，例如，获取了“201本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：获取待业务处理的一项或多项数据中的一项数据，所述一项数据包括业务数据；根据预定规则为所述一项数据生成交互号以及与所述交互号对应的编号；建立映射表，在映射表中对所述一项数据生成所述交互号以及与所述交互号对应的所述编号的映射关系；在主数据库对应所述一项数据的所述编号指示的分库和分表中的存储位置，存储所述一项数据、所述一项数据的所述交互号以及所述编号；发送所述一项数据的所述业务数据以及对应的所述交互号，以进行业务处理。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待业务处理的一项或多项数据中的一项数据，所述一项数据包括业务数据；根据预定规则为所述一项数据生成交互号以及与所述交互号对应的编号；建立映射表，在映射表中对所述一项数据生成所述交互号以及与所述交互号对应的所述编号的映射关系；在主数据库对应所述一项数据的所述编号指示的分库和分表中的存储位置，存储所述一项数据、所述一项数据的所述交互号以及所述编号；发送所述一项数据的所述业务数据以及对应的所述交互号，以进行业务处理，并接收返回的所述一项数据的更新后的业务数据以及对应的所述交互号；根据所述一项数据的所述交互号及所述映射关系，查找映射表中所述交互号对应的所述编号，以确定所述一项数据在主数据库的分库和分表中存储的位置；根据映射表中查找到的所述编号，在主数据库对应所述编号的分库和分表中的存储位置，找到所述一项数据，并由所述更新后的业务数据更新存储的所述一项数据中的所述业务数据。2.如权利要求1所述的方法，其特征在于，所述预定规则包括：第一预定规则和第二预定规则；其中，根据第一预定规则为所述一项数据生成交互号；根据第二预定规则为所述一项数据生成与所述交互号对应的编号。3.如权利要求1所述的方法，其特征在于，生成的所述编号还包括主ID，所述主ID包括分库号和分表号，所述主ID用于在主数据库中标识所述一项数据，所述分库号和分表号用于确定所述一项数据在主数据库的所述分库和分表中存储的位置；在映射表中对所述一项数据生成所述交互号以及与交互号对应的所述编号的映射关系，包括：将所述交互号与所述主ID对应存储以生成映射关系，所述映射关系用于根据所述交互号或所述主ID能快速查找对应的所述主ID或对应的所述交互号。4.如权利要求2所述的方法，其特征在于，根据第二预定规则为所述一项数据生成与交互号对应的编号包括：根据第二预定规则为所述一项数据生成所述分库号和分表号，由所述分库号和分表号指示主数据库中的分库和分表中的存储位置。5.如权利要求2所述的方法，其特征在于，所述第一预定规则还包括：每获取一项数据均为其生成的交互号，并且，是在上一次获取的一项数据生成的交互号上加1；当获取的一项数据生成的交互号为预先限定的最大值时，下一次获取的一项数据的所述交互号为预先确定的交互号。6.一种数据处理方法，其特征...

【专利技术属性】
技术研发人员：滕国凯，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY