一种数据汇聚方法、装置、设备及计算机可读存储介质。所述方法应用于需求方，需求方上部署有质量检测模块，需求方对应至少一个提供方，方法包括：接收至少一个提供方中的至少一个目标提供方响应于需求方发起的目标数据汇聚任务上传的待汇聚数据；目标提供方为目标数据汇聚任务中要求上传数据的提供方；将接收的待汇聚数据提供至质量检测模块，使质量检测模块按照目标数据汇聚任务的质量规则对待汇聚数据进行质量检测；将通过质量检测的待汇聚数据写入需求方的目的数据库中。本申请能够自动将接收的待汇聚数据按照质量规则进行质量检测，并将通过质量检测的待汇聚数据写入数据库中，不需要人工对汇聚的数据再进行检测和评估，节省成本，提高效率。提高效率。提高效率。
【技术实现步骤摘要】
数据汇聚方法、装置、设备及计算机可读存储介质
[0001]本申请涉及大数据
，特别涉及一种数据汇聚方法、装置、设备及计算机可读存储介质。
技术介绍
[0002]各类数据往往存储于不同的多个平台之间。当任一平台存在数据汇聚需求时，会向其他平台发出数据汇聚任务，以使其他平台将符合要求的数据汇聚至该任一平台中。
[0003]然而，在数据汇聚的过程中，由于各个平台的数据存储引擎不同，数据定义的方式存在差异，数据质量也层次不齐。因此，数据需求方需要对待汇聚的数据进行质量评估，对于未通过质量检测的数据进行相应的处理。
[0004]相关技术中，一般是在所有待汇聚数据存储入需求方的数据库后，再由需求方人工进行数据质量评估，这使得数据汇聚流程与数据的质量检测脱节，需求方需人工筛选出各批次的数据汇聚任务中汇聚的数据，并执行评估任务。这给需求方的数据使用带来了较大的不便，且有较高的人力成本。
技术实现思路
[0005]为克服相关技术中存在的问题，本申请提供了一种数据汇聚方法、装置、设备及计算机可读存储介质，能够解决上述问题。
[0006]根据本申请实施例的第一方面，提供一种数据汇聚方法，应用于需求方，所述需求方上部署有需求方质量检测模块，所述需求方对应于至少一个提供方，所述方法包括：
[0007]接收所述至少一个提供方中的至少一个目标提供方响应于所述需求方发起的目标数据汇聚任务上传的待汇聚数据；所述目标提供方为所述目标数据汇聚任务中要求上传数据的提供方；
[0008]将接收的所述待汇聚数据提供至所述需求方质量检测模块，使所述需求方质量检测模块按照所述目标数据汇聚任务的质量规则对所述待汇聚数据进行质量检测；
[0009]将通过所述质量检测的待汇聚数据写入所述需求方的目的数据库中。
[0010]根据本申请实施例的第二方面，提供一种数据汇聚方法，应用于提供方，所述提供方对应的需求方上部署有需求方质量检测模块，所述方法包括：
[0011]从所述需求方处获取目标数据汇聚任务；
[0012]根据所述目标数据汇聚任务确定待汇聚数据；
[0013]将所述待汇聚数据提供至所述需求方，以由所述需求方质量检测模块按照所述目标数据汇聚任务关联的质量规则进行质量检测。
[0014]根据本申请实施例的第三方面，提供一种数据汇聚装置，应用于需求方，所述需求方上部署有需求方质量检测单元，所述需求方对应于至少一个提供方，所述装置包括：
[0015]接收单元，用于接收所述至少一个提供方中的至少一个目标提供方响应于所述需求方发起的目标数据汇聚任务上传的待汇聚数据；所述目标提供方为所述目标数据汇聚任
务中要求上传数据的提供方；
[0016]所述需求方质量检测单元，用于将接收的所述待汇聚数据提供至所述需求方质量检测模块，使所述需求方质量检测模块按照所述目标数据汇聚任务的质量规则对所述待汇聚数据进行质量检测；
[0017]写入单元，用于将通过所述质量检测的待汇聚数据写入所述需求方的目的数据库中。
[0018]根据本申请实施例的第四方面，提供一种数据汇聚装置，应用于提供方，所述提供方对应的需求方上部署有需求方质量检测模块，所述装置包括：
[0019]任务单元，用于从所述需求方处获取目标数据汇聚任务；
[0020]确定数据单元，用于根据所述目标数据汇聚任务确定待汇聚数据；
[0021]提供单元，用于将所述待汇聚数据提供至所述需求方，以由所述需求方质量检测模块按照所述目标数据汇聚任务关联的质量规则进行质量检测。
[0022]根据本申请实施例的第五方面，提供一种电子设备，包括：处理器、存储器；
[0023]所述存储器，用于存储计算机程序；
[0024]所述处理器，用于通过调用所述计算机程序，执行如第一、二方面所述的数据汇聚方法。
[0025]根据本申请实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一、二方面所述的数据汇聚方法。
[0026]本申请的实施例提供的技术方案可以包括以下有益效果：
[0027]本申请通过对接收的待汇聚数据按质量规则进行质量检测，并将通过检测的待汇聚数据写入数据库，一方面，能够避免多个数据汇聚任务的待汇聚数据混杂，另一方面，自动化地将质量检测环节融入数据汇聚流程中，使得数据汇聚的效率更高、更方便，且节约了人力成本。
[0028]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0029]此处的附图被并入说明书中并构成本申请的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0030]图1是本申请根据一示例性实施例示出的一种数据汇聚系统的结构示意图。
[0031]图2是本申请根据一示例性实施例示出的一种数据汇聚方法的示意流程图。
[0032]图3是本申请根据一示例性实施例示出的一种数据汇聚方法的架构示意图。
[0033]图4是本申请根据一示例性实施例示出的一种反馈检测结果的流程示意图。
[0034]图5是本申请根据一示例性实施例示出的一种数据汇聚方法的流程框图。
[0035]图6是本申请根据一示例性实施例示出的一种数据汇聚方法的示意流程图。
[0036]图7是本申请根据一示例性实施例示出的一种数据汇聚装置所在电子设备的结构示意图。
[0037]图8是本申请根据一示例性实施例示出的一种数据汇聚装置的框图。
[0038]图9是本申请根据一示例性实施例示出的一种数据汇聚装置的框图。
具体实施方式
[0039]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0040]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0041]应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0042]如图1所示，图1为本申请一示例性实施例示出的一种数本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据汇聚方法，其特征在于，应用于需求方，所述需求方上部署有需求方质量检测模块，所述需求方对应于至少一个提供方，所述方法包括：接收所述至少一个提供方中的至少一个目标提供方响应于所述需求方发起的目标数据汇聚任务上传的待汇聚数据；所述目标提供方为所述目标数据汇聚任务中要求上传数据的提供方；将接收的所述待汇聚数据提供至所述需求方质量检测模块，使所述需求方质量检测模块按照所述目标数据汇聚任务的质量规则对所述待汇聚数据进行质量检测；将通过所述质量检测的待汇聚数据写入所述需求方的目的数据库中。2.根据权利要求1所述的方法，其特征在于，在将接收的所述待汇聚数据提供至所述需求方质量检测模块之后，还包括：生成与各所述目标提供方对应的检测结果，以使所述目标提供方通过获取所述检测结果获得质检反馈。3.根据权利要求2所述的方法，其特征在于，所述检测结果包括未通过所述质量检测的待汇聚数据，和/或基于所述待汇聚数据生成的检测报告。4.根据权利要求3所述的方法，其特征在于，还包括：根据各所述检测结果，生成与所述目标提供方分别对应的目标信息位图，所述目标信息位图包括所述目标提供方的标识、所述目标提供方的汇聚任务的标识、对应各所述汇聚任务的待汇聚数据是否合格的标识；响应于所述目标提供方发起的位图调用请求，向所述目标提供方反馈所述目标信息位图；响应于所述目标提供方发起的检测结果调用请求，向所述目标提供方反馈所述检测结果；其中，所述检测结果调用请求由所述目标提供方在根据获得的所述目标信息位图确认自身提供了不合格的待汇聚数据的情况下发起。5.一种数据汇聚方法，其特征在于，应用于提供方，所述提供方对应的需求方上部署有需求方质量检测模块，所述方法包括：从所述需求方处获取目标数据汇聚任务；根据所述目标数据汇聚任务确定待汇聚数据；将所述待汇聚数据提供至所述需求方，以由所述需求方质量检测模块按照所述目标数据汇聚任务关联的质量规则进行质量检测。6.根据权利要求5所述的方法，其特征在于，还包括：对所述需求方处的交互接口...
【专利技术属性】
技术研发人员：荀志，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。