数据处理方法及系统、数据查询方法及系统技术方案

本发明专利技术公开一种数据处理方法及系统，还公开一种数据查询方法及系统，其中数据处理方法包括以下步骤：配置查询维度、业务标识以及所述查询维度和所述业务标识的映射数据；获取包含业务标识的业务数据，并基于所述映射数据将所述业务数据作为相应查询维度的待处理数据；基于查询维度提取各待处理数据的唯一标识，并基于所述唯一标识为相应的待处理数据加锁，获得加锁数据；基于查询维度对所述加锁数据进行处理，获得相应的整合数据并将其存储至目标数据库后解锁所述加锁数据。本发明专利技术通过基于查询维度所对应的唯一标识进行加锁，保证避免数据处理过程中发生主键冲突，适用于待处理数据的种类繁多且各类数据之间关系复杂的场景。

【技术实现步骤摘要】
数据处理方法及系统、数据查询方法及系统
本专利技术涉及数据处理领域，尤其涉及一种基于查询维度进行整合和存储的数据处理技术。
技术介绍
数据处理过程中往往采用锁机制避免冲突，锁具有多种粒度，如表级锁、行级锁，粒度越小锁的开销越大，并发能力越强，当待处理数据的数据量较大时，往往采用细粒度的锁(行级)提高性能。现今业务系统(记为源业务系统)往往按照业务类别将数据分类存储于相应的数据库(记为源数据库)中，各类数据的数据量大且关联关系复杂，即使采用细粒度的行级锁，仍无法避免数据处理的过程中出现冲突。
技术实现思路
本专利技术针对待处理数据的种类繁多且各类数据之间关系复杂时，即使基于细粒度锁进行数据处理仍会出现冲突的问题，提出一种基于唯一标识对待处理数据加锁的数据处理技术，还提出一种基于该数据处理技术所实现的数据查询技术。为了解决上述技术问题，本专利技术通过下述技术方案得以解决：一种数据处理方法，包括以下步骤：配置查询维度、业务标识以及所述查询维度和所述业务标识的映射数据；获取包含业务标识的业务数据，并基于所述映射数据将所述业务数据作为相应查询维度的待处理数据；基于查询维度提取各待处理数据的唯一标识，并基于所述唯一标识为相应的待处理数据加锁，获得加锁数据；基于查询维度对所述加锁数据进行处理，获得相应的整合数据并将其存储至目标数据库后解锁所述加锁数据。作为一种可实施方式：基于查询维度提取待处理数据的唯一标识，将所述唯一标识于预设的锁列表中进行检索，获得检索结果；当检索到所述唯一标识时，则将所述待处理数据作为等待数据；当未检索到所述唯一标识时，则为所述待处理数据加锁，获得加锁数据，并将所述唯一标识添加至所述锁列表中。作为一种可实施方式：当将所得整合数据存储至目标数据库后，基于唯一标识检索与所述加锁数据相关联的等待数据，并为相应的加锁数据解锁；当检索到与所述加锁数据相关联的等待数据，则为所述等待数据加锁，获得新的加锁数据；当未检索到与所述加锁数据相关联的等待数据，则于锁列表中删除所述加锁数据所对应的唯一标识。作为一种可实施方式：映射数据包括第一映射数据和第二映射数据；所述第一映射数据包括相映射的查询维度和主题列表，所述主题列表包括至少一个业务主题；所述第二映射数据包括相映射的业务主题和标识列表，所述标识列表包括至少一个业务标识。作为一种可实施方式：获得包含业务标识的业务数据；基于所述业务标识从所述第二映射数据中提取与所述业务数据相匹配的业务主题；基于业务主题从所述第一映射数据中提取与所述业务数据相映射的查询维度，将所述业务数据作为所述查询维度的待处理数据。本专利技术还提出一种数据处理系统，包括依次信号相连的第一处理模块、第二处理模块和目标数据库；所述第一处理模块，用于获取包含业务标识的业务数据；所述第二处理模块，用于基于预设的映射数据将所述业务数据作为相应查询维度的待处理数据；还用于基于查询维度提取各待处理数据的唯一标识，并基于所述唯一标识为相应的待处理数据加锁，获得加锁数据；还用于基于查询维度对所述加锁数据进行处理，获得相应的整合数据并将其存储至目标数据库后解锁所述加锁数据；所述目标数据库，用于基于查询维度存储所述整合数据。作为一种可实施方式，所述第二处理模块包括与查询维度一一对应的处理单元，所述处理单元分别与所述第一处理模块和所述目标数据库信号相连；所述处理单元包括传输子单元、提取子单元、加锁子单元和处理子单元；所述传输子单元和所述第一处理模块信号相连，用于基于查询维度从所述第一处理模块处获取相对应的业务数据作为待处理数据；所述提取子单元和所述传输子单元信号相连，用于基于查询维度提取所述待处理数据的唯一标识；所述加锁子单元与所述提取子单元信号相连，用于基于唯一标识判断待处理数据与加锁数据是否关联；当判定关联时，将所述待处理数据作为等待数据，待相关联的加锁数据解锁后为所述等待数据加锁；当判定不关联时，为所述待处理数据加锁；所述处理子单元分别与所述提取子单元、所述加锁子单元和所述目标数据库信号相连，用于基于查询维度对所述加锁数据进行处理，获得相应的整合数据并将其存储至目标数据库，还用于为所述加锁数据解锁。作为一种可实施方式，第一处理模块包括依次相连的订阅单元、清洗单元和发布单元，其中发布单元与各传输子单元信号相连；所述订阅单元，用于从外部的源数据库处获取原始数据；所述清洗单元，用于对所述原始数据进行清洗，获得包含业务标识的业务数据，还用于基于预设的映射数据获取与所述业务标识相映射的业务主题；所述发布单元，用于基于业务主题发布所述业务数据；所述传输子单元，用于基于业务主题获取与其查询维度相对应的业务数据，将所得业务数据作为待处理数据。本专利技术还提出一种数据查询方法，包括以下步骤：获取查询请求，基于所述查询请求于上述任意一项所述的数据处理系统中的目标数据库进行查询，获得并反馈查询结果。本专利技术还提出一种数据查询系统，包括查询子系统和存储子系统；所述查询子系统与所述存储子系统信号相连，用于获取查询请求，并基于所述查询请求于所述存储子系统中进行查询，生成并反馈相应的查询结果；所述存储子系统为上述任意一项所述的数据处理系统，其用于按照预设的查询维度整合并存储数据。本专利技术由于采用了以上技术方案，具有显著的技术效果：1、本专利技术通过对业务数据按照查询维度进行处理后储存，使得后续对数据进行查询的过程中，可根据查询维度于目标数据库中进行单表查询即可直接获得查询结果，有效提升检索速度。2、本专利技术通过基于查询维度所对应的唯一标识进行加锁，保证避免数据处理过程中发生主键冲突，适用于待处理数据的种类繁多且各类数据之间关系复杂的场景。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一种数据处理方法的流程示意图；图2是实施例2中数据处理系统的模块连接示意图；图3是图2中第一处理模块100的模块连接示意图；图4是图2中第二处理模块的模块连接示意图；图5是本专利技术一种数据查询系统的模块连接示意图。具体实施方式下面结合实施例对本专利技术做进一步的详细说明，以下实施例是对本专利技术的解释而本专利技术并不局限于以下实施例。实施例1、一种数据处理方法，用于在源业务系统600将所产生的数据按照业务类别写入源数据库400后，将源数据库400中的数据基于查询维度进行汇总整合，并将所得的整合数据存储至目标数据库300中，以便于为后续查询过程提供数据支持。...

【技术保护点】
1.一种数据处理方法，其特征在于包括以下步骤：/n配置查询维度、业务标识以及所述查询维度和所述业务标识的映射数据；/n获取包含业务标识的业务数据，并基于所述映射数据将所述业务数据作为相应查询维度的待处理数据；/n基于查询维度提取各待处理数据的唯一标识，并基于所述唯一标识为相应的待处理数据加锁，获得加锁数据；/n基于查询维度对所述加锁数据进行处理，获得相应的整合数据并将其存储至目标数据库后解锁所述加锁数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于包括以下步骤：
配置查询维度、业务标识以及所述查询维度和所述业务标识的映射数据；
获取包含业务标识的业务数据，并基于所述映射数据将所述业务数据作为相应查询维度的待处理数据；
基于查询维度提取各待处理数据的唯一标识，并基于所述唯一标识为相应的待处理数据加锁，获得加锁数据；
基于查询维度对所述加锁数据进行处理，获得相应的整合数据并将其存储至目标数据库后解锁所述加锁数据。


2.根据权利要求1所述的数据处理方法，其特征在于：
基于查询维度提取待处理数据的唯一标识，将所述唯一标识于预设的锁列表中进行检索，获得检索结果；
当检索到所述唯一标识时，则将所述待处理数据作为等待数据；
当未检索到所述唯一标识时，则为所述待处理数据加锁，获得加锁数据，并将所述唯一标识添加至所述锁列表中。


3.根据权利要求2所述的数据处理方法，其特征在于：
当将所得整合数据存储至目标数据库后，基于唯一标识检索与所述加锁数据相关联的等待数据，并为相应的加锁数据解锁；
当检索到与所述加锁数据相关联的等待数据，则为所述等待数据加锁，获得新的加锁数据；
当未检索到与所述加锁数据相关联的等待数据，则于锁列表中删除所述加锁数据所对应的唯一标识。


4.根据权利要求1至3任一所述的数据处理方法，其特征在于：映射数据包括第一映射数据和第二映射数据；
所述第一映射数据包括相映射的查询维度和主题列表，所述主题列表包括至少一个业务主题；
所述第二映射数据包括相映射的业务主题和标识列表，所述标识列表包括至少一个业务标识。


5.根据权利要求4所述的数据处理方法，其特征在于：
获得包含业务标识的业务数据；
基于所述业务标识从所述第二映射数据中提取与所述业务数据相匹配的业务主题；
基于业务主题从所述第一映射数据中提取与所述业务数据相映射的查询维度，将所述业务数据作为所述查询维度的待处理数据。


6.一种数据处理系统，其特征在于，包括依次信号相连的第一处理模块、第二处理模块和目标数据库；
所述第一处理模块，用于获取包含业务标识的业务数据；
所述第二处理模块，用于基于预设的映射数据将所述业务数据作为相应查询维度的待处理数据；还用于基于查询维度提取各待处理数据的唯一标识，并基于所述唯一标识为相应的待处理数据加锁...

【专利技术属性】
技术研发人员：徐雪芳，谢梁洋，高国勇，杨伟丽，
申请(专利权)人：杭州云灵科技有限公司，
类型：发明
国别省市：浙江;33