数据处理方法、装置、系统及存储介质制造方法及图纸

本申请实施例提供了一种数据处理方法、装置、系统及存储介质。方法包括：在多个同一阶算法模型处理数据的过程中，获取每个同一阶算法模型的处理结果；从每个同一阶算法模型的处理结果中确定出每个同一阶算法模型的待输入处理结果；将每个同一阶算法模型的待输入处理结果输入下一阶算法模型，使得下一阶算法模型能够在多个同一阶算法模型处理数据的过程中输出处理结果。由于确定出的多个同一阶算法模型的待输入处理结果的数量比例满足预设处理比例，故实现了在多个同一阶算法模型处理数据的过程中，下一阶算法模型便能够正确处理待输入处理结果，提升了下一阶算法模型输出处理结果的时效性。

Data processing methods, devices, systems and storage media

【技术实现步骤摘要】
数据处理方法、装置、系统及存储介质
本申请涉及数据处理
，具体而言，涉及一种数据处理方法、装置、系统及存储介质。
技术介绍
在数据的阶梯式处理过程中，同一阶算法模型输出的处理结果可以与其它同一阶算法模型输出的处理结果或其它数据混合后，继续输入下一阶算法模型进行处理。但由于下一阶算法模型对数据的处理方式是整体性处理，故导致需要在同一阶算法模型将数据全部处理完成后，下一阶算法模型才能够正确的处理对同一阶算法模型输出的全部处理结果。例如，在特征工程算法模型处理MySQL(My-StructuredQueryLanguage，My-构造化查询言语)数据库中需要处理的全部样本数据得到全部的样本处理结果后，再将全部的样本处理结果和大数据平台数据Hive中需要处理的全部样本数据一并输入到时间序列算法模型中进行处理。这种处理方式虽然保证了下一阶算法模型能够正确的处理数据，却降低了下一阶算法模型输出处理结果的时效性。
技术实现思路
本申请在于提供一种数据处理方法、装置、系统及存储介质，以实现保证下一阶算法模型能够正确处理数据的同时，提高下一阶算法模型输出处理结果的时效性。第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：在多个同一阶算法模型处理数据的过程中，获取每个所述同一阶算法模型的处理结果；从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，其中，多个所述同一阶算法模型的待输入处理结果的数量比例满足预设处理比例；将每个所述同一阶算法模型的待输入处理结果输入下一阶算法模型，使得所述下一阶算法模型能够在所述多个同一阶算法模型处理数据的过程中输出处理结果。在本申请实施例中，由于确定出的多个同一阶算法模型的待输入处理结果的数量比例满足预设处理比例，故实现了在多个同一阶算法模型处理数据的过程中，下一阶算法模型便能够正确处理待输入处理结果，使得下一阶算法模型在多个同一阶算法模型处理数据的过程中便有结果输出，提升了下一阶算法模型输出处理结果的时效性，即可以实现下一阶算法模型和上一阶算法模型在一定程度上的并行处理，所以可以提高处理效率以及时效性。结合第一方面，在第一种可能的实现方式中，从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，包括：从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。在本申请实施例中，由于每个同一阶算法模型确定出的是最少数量的待输入处理结果，故可以缩短下一阶算法模型的等待时长，使得下一阶算法模型的时效性得到进一步提高。结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，在多个同一阶算法模型处理数据的过程中的过程中，所述方法还包括：获取所述处理结果的生成时刻；对应的，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果，包括：根据所述生成时刻的先后顺序，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。在本申请实施例中，通过生成时刻的先后顺序来确定待输入处理结果，可以实现同一阶算法模型先输出的处理结果也可以先被下一阶算法模型处理，保证了处理逻辑的合理性。结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，在获取所述处理结果的生成时刻之后，以及在根据所述生成时刻的先后顺序，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果之前，所述方法还包括：确定所述生成时刻位于对应的预设时刻前，其中，所述生成时刻位于所述预设时刻前表示对应的所述处理结果可信。在本申请实施例中，由于伪造处理结果通常需要耗费较长时间，通过检验生成时刻的早晚可以确定处理结果是否是伪造的，故可以提高数据处理的安全性，防止伪造的处理结果对数据处理产生不利影响。结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，在确定所述生成时刻位于对应的预设时刻前之后，所述方法还包括：将所述处理结果同步到区块链上的其它节点。在本申请实施例中，由于可信的处理结果还可以被同步到区块链上的其它节点，提高了处理结果不可篡改性。结合第一方面的任一种可能的实现方式，在第五种可能的实现方式中，在从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果之前，所述方法还包括：确定出满足所述下一阶算法模型的数据处理规则的所述预设处理比例。在本申请实施例中，由于预设处理比例是根据下一阶算法模型的数据处理规则确定的，故保证后续确定出的待输入处理结果能够正确的被下一阶算法模型处理。第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：获取模块，用于在多个同一阶算法模型处理数据的过程中，获取每个所述同一阶算法模型的处理结果；处理模块，用于从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，其中，多个所述同一阶算法模型的待输入处理结果的数量比例满足预设处理比例；输出模块，用于将每个所述同一阶算法模型的待输入处理结果输入下一阶算法模型，使得所述下一阶算法模型能够在所述多个同一阶算法模型处理数据的过程中输出处理结果。结合第二方面，在第一种可能的实现方式中，所述处理模块，还用于从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述获取模块，还用于在多个同一阶算法模型处理数据的过程中的过程中，获取所述处理结果的生成时刻；对应的，所述处理模块，还用于根据所述生成时刻的先后顺序，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，在所述获取模块获取所述处理结果的生成时刻之后，以及在所述处理模块根据所述生成时刻的先后顺序，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果之前；所述处理模块，还用于确定所述生成时刻位于对应的预设时刻前，其中，所述生成时刻位于所述预设时刻前表示对应的所述处理结果可信。结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，在所述处理模块确定所述生成时刻位于对应的预设时刻前之后；所述输出模块，还用于将所述处理结果同步到区块链上的其它节点。结合第二方面的任一种可能的实现方式，在第五种可能的实现方式中，在所述处理模块从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果之前；所述处理模块，还用于确定出满足所述下一阶算法模型的数据处理规则的所述预设处理比例。第三方面，本申请实施例提供了一种数据处理系统，包括：多个节点，每个所述节点与所述多个节点中的其它所述节点通信，不同阶的算法模型可以部署在不同的所述节点上；每个所述节点，用于执行第一方面或第一方面的任一种可能实现方式所述的数据处理方法。第四方面，本申请实施例提供了一种非易失计算机可读储存介质，存储有程序代码，当所述程序代码被计算机运行时执行第一方面或第一方面的任一种可能实现方式所述的数据处理方法。为使本申请的上述目的、特本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：在多个同一阶算法模型处理数据的过程中，获取每个所述同一阶算法模型的处理结果；从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，其中，多个所述同一阶算法模型的待输入处理结果的数量比例满足预设处理比例；将每个所述同一阶算法模型的待输入处理结果输入下一阶算法模型，使得所述下一阶算法模型能够在所述多个同一阶算法模型处理数据的过程中输出处理结果。

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：在多个同一阶算法模型处理数据的过程中，获取每个所述同一阶算法模型的处理结果；从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，其中，多个所述同一阶算法模型的待输入处理结果的数量比例满足预设处理比例；将每个所述同一阶算法模型的待输入处理结果输入下一阶算法模型，使得所述下一阶算法模型能够在所述多个同一阶算法模型处理数据的过程中输出处理结果。2.根据权利要求1所述的数据处理方法，其特征在于，从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，包括：从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。3.根据权利要求2所述的数据处理方法，其特征在于，在多个同一阶算法模型处理数据的过程中，所述方法还包括：获取所述处理结果的生成时刻；对应的，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果，包括：根据所述生成时刻的先后顺序，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。4.根据权利要求3所述的数据处理方法，其特征在于，在获取所述处理结果的生成时刻之后，以及在根据所述生成时刻的先后顺序，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果之前，所述方法还包括：确定所述生成时刻位于对应的预设时刻前，其中，所述生成时刻位于所述预设时刻前表示对应的所述处理结果可信。5...

【专利技术属性】
技术研发人员：李骥东，张春生，王波，
申请(专利权)人：成都四方伟业软件股份有限公司，
类型：发明
国别省市：四川,51