一种跨平台数据处理方法、系统、设备及介质技术方案

本发明专利技术公开了一种跨平台数据处理方法、系统、设备及介质，其中，方法包括：根据平台业务流程，对系统数据表的逻辑关系进行分析处理，确定数据索引字典；根据所述数据索引字典对主数据进行标识，通过分布式存储技术存储所述主数据，确定主数据副本；当跨平台访问数据时，通过数据预读对所述数据索引字典和所述主数据副本进行数据访问。本发明专利技术通过对主数据进行分布式存储，提高了主数据的存储效率，通过数据预读提高了数据的访问效率，可广泛应用于数据处理技术领域。处理技术领域。处理技术领域。

【技术实现步骤摘要】
一种跨平台数据处理方法、系统、设备及介质


[0001]本专利技术涉及数据处理
，尤其是一种跨平台数据处理方法、系统、设备及介质。

技术介绍

[0002]数字经济以数字化丰富要素供给，以网络化提高要素配置效率，以智能化提升产出效能，推动经济发展质量变革、效率变革、动力变革。其中，数据信息资源逐步成为新的关键要素资源。随着信息化技术的快速发展，随着各种平台的出现，数据类型也逐渐变得多样化，数据规模也越来越庞大，现有技术需要对多个系统进行重构，但是系统重构不仅会影响正常业务的运营，而且对系统数据的访问效率也比较低。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种跨平台数据处理方法、系统、设备及介质，以实现提高系统访问和存储效率，减低数据读取时间。
[0004]一方面，本专利技术提供了一种跨平台数据处理方法，包括：
[0005]根据平台业务流程，对系统数据表的逻辑关系进行分析处理，确定数据索引字典；
[0006]根据所述数据索引字典对主数据进行标识，通过分布式存储技术存储所述主数据，确定主数据副本；
[0007]当跨平台访问数据时，通过数据预读对所述数据索引字典和所述主数据副本进行数据访问。
[0008]可选地，所述根据平台业务流程，对系统数据表的逻辑关系进行分析处理，确定数据索引字典，包括：
[0009]根据平台业务流程，对系统数据表中数据生成的顺序进行记录，确定源数据；
[0010]根据所述业务流程，对所述源数据的依赖关系进行查询，确定依赖数据；
[0011]对所述源数据添加索引，结合所述依赖数据，确定数据索引字典。
[0012]可选地，所述根据所述数据索引字典对主数据进行标识，通过分布式存储技术存储所述主数据，确定主数据副本，包括：
[0013]对所述数据索引字典中的业务实体属性进行标识，确定主数据；
[0014]将所述主数据记录到缓存数据库中，对所述缓存数据库进行垂直切分处理和水平切分处理，确定主数据副本。
[0015]可选地，所述将所述主数据记录到缓存数据库中，对所述缓存数据库进行垂直切分处理和水平切分处理，确定主数据副本，包括：
[0016]将所述主数据记录到缓存数据库中，对所述缓存数据库进行垂直切分处理，根据不同的业务类型对所述缓存数据库中的缓存数据表进行分类，存储到第一数据库中；
[0017]对所述第一数据库进行水平切分处理，根据哈希取模划分对所述第一数据库中的缓存数据表的数据行存储到第二数据库中；
[0018]根据所述第一数据库和所述第二数据库，确定主数据副本。
[0019]可选地，所述当跨平台访问数据时，通过数据预读对所述数据索引字典和所述主数据副本进行数据访问，包括：
[0020]当跨平台访问数据时，判断此次数据访问为访问业务数据，通过数据预读对所述数据索引字典中的业务数据进行数据访问；
[0021]当跨平台访问数据时，判断此次数据访问为访问主数据，通过数据预读对所述主数据副本中的主数据进行数据访问。
[0022]可选地，所述当跨平台访问数据时，判断此次数据访问为访问业务数据，通过数据预读对所述数据索引字典中的业务数据进行数据访问，包括：
[0023]当跨平台访问数据时，判断此次数据访问为访问业务数据，根据所述数据索引字典中的数据访问概率，对数据进行预读，确定预读数据；
[0024]当所述预读数据为目标访问数据时，对所述预读数据进行访问；
[0025]当所述预读数据非目标访问数据时，通过所述数据索引字典的索引定位到所述目标访问数据，进行数据访问。
[0026]可选地，所述当跨平台访问数据时，判断此次数据访问为访问主数据，通过数据预读对所述主数据副本中的主数据进行数据访问，包括：
[0027]当跨平台访问数据时，判断此次数据访问为访问主数据，根据所述主数据副本中的数据访问概率，对数据进行预读，确定预读数据；
[0028]当所述预读数据为目标访问数据时，对所述预读数据进行访问；
[0029]当所述预读数据非目标访问数据时，通过所述主数据副本查找所述目标访问数据，进行数据访问。
[0030]另一方面，本专利技术实施例还公开了一种跨平台数据处理系统，包括：
[0031]第一模块，用于根据平台业务流程，对系统数据表的逻辑关系进行分析处理，确定数据索引字典；
[0032]第二模块，用于根据所述数据索引字典对主数据进行标识，通过分布式存储技术存储所述主数据，确定主数据副本；
[0033]第三模块，用于当跨平台访问数据时，通过数据预读对所述数据索引字典和所述主数据副本进行数据访问。
[0034]另一方面，本专利技术实施例还公开了一种电子设备，包括处理器以及存储器；
[0035]所述存储器用于存储程序；
[0036]所述处理器执行所述程序实现如前面所述的方法。
[0037]另一方面，本专利技术实施例还公开了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
[0038]另一方面，本专利技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
[0039]本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：本专利技术根据平台业务流程，对系统数据表的逻辑关系进行分析处理，确定数据索引字典；根据所述数据索引
字典对主数据进行标识，通过分布式存储技术存储所述主数据，确定主数据副本，通过建立分布式的主数据副本，能够提高对主数据的存储效率；当跨平台访问数据时，通过数据预读对所述数据索引字典和所述主数据副本进行数据访问，通过数据预读能够提高数据的访问效率。
附图说明
[0040]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]附图1为本专利技术实施例的一种跨平台数据处理方法流程图。
具体实施方式
[0042]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0043]参照图1，本专利技术实施例提供一种方法，包括：
[0044]根据平台业务流程，对系统数据表的逻辑关系进行分析处理，确定数据索引字典；
[0045]根据所述数据索引字典对主数据进行标识，通过分布式存储技术存储所述主数据，确定主数据副本；
[0046]当跨平台访问数据时，通过数据预读对所述数据索引本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨平台数据处理方法，其特征在于，包括：根据平台业务流程，对系统数据表的逻辑关系进行分析处理，确定数据索引字典；根据所述数据索引字典对主数据进行标识，通过分布式存储技术存储所述主数据，确定主数据副本；当跨平台访问数据时，通过数据预读对所述数据索引字典和所述主数据副本进行数据访问。2.根据权利要求1所述的一种跨平台数据处理方法，其特征在于，所述根据平台业务流程，对系统数据表的逻辑关系进行分析处理，确定数据索引字典，包括：根据平台业务流程，对系统数据表中数据生成的顺序进行记录，确定源数据；根据所述业务流程，对所述源数据的依赖关系进行查询，确定依赖数据；对所述源数据添加索引，结合所述依赖数据，确定数据索引字典。3.根据权利要求1所述的一种跨平台数据处理方法，其特征在于，所述根据所述数据索引字典对主数据进行标识，通过分布式存储技术存储所述主数据，确定主数据副本，包括：对所述数据索引字典中的业务实体属性进行标识，确定主数据；将所述主数据记录到缓存数据库中，对所述缓存数据库进行垂直切分处理和水平切分处理，确定主数据副本。4.根据权利要求3所述的一种跨平台数据处理方法，其特征在于，所述将所述主数据记录到缓存数据库中，对所述缓存数据库进行垂直切分处理和水平切分处理，确定主数据副本，包括：将所述主数据记录到缓存数据库中，对所述缓存数据库进行垂直切分处理，根据不同的业务类型对所述缓存数据库中的缓存数据表进行分类，存储到第一数据库中；对所述第一数据库进行水平切分处理，根据哈希取模划分对所述第一数据库中的缓存数据表的数据行存储到第二数据库中；根据所述第一数据库和所述第二数据库，确定主数据副本。5.根据权利要求1所述的一种跨平台数据处理方法，其特征在于，所述当跨平台访问数据时，通过数据预读对所述数据索引字典和所述主数据副本进行数据访问，包括：当跨平台访问数据时，判断此次数据访问为访问业务数据，通过数据预读对所述数据索引字典中的业务数据进行数据访问；...

【专利技术属性】
技术研发人员：利传杰，
申请(专利权)人：广东广信通信服务有限公司，
类型：发明
国别省市：