一种数据处理系统、方法及装置制造方法及图纸

本说明书公开了一种数据处理系统、方法及装置，数据存储单元向数据处理单元发送业务数据，数据处理单元针对每个数据处理任务，对该数据处理任务包含的业务数据进行预处理，将预处理得到的第一数据交由预测单元输入模型得到预测结果。或者将该数据处理任务包含的业务数据发送给预测单元，得到并返回预测结果，之后，对预测结果进行后置处理得到第二数据。根据各数据处理任务对应的第二数据得到数据处理结果，并返回给数据存储单元以便执行业务。可见，将预处理和后置处理交由数据处理单元执行，数据存储单元将业务数据发送给数据处理单元，无需其他交互就能够得到数据处理结果，极大地减少了交互的次数，提高了数据的隐私安全性和模型预测的效率。性和模型预测的效率。性和模型预测的效率。

【技术实现步骤摘要】
一种数据处理系统、方法及装置


[0001]本说明书涉及计算机
，尤其涉及一种数据处理系统、方法及装置。

技术介绍

[0002]随着隐私信息关注度的提高以及人工智能技术的发展，目前，可以基于可信执行环境(Trusted Execution Environment，TEE)集群执行模型预测过程。具体的，数据存储单元可以将业务数据发送到TEE集群中的预测单元，由预测单元将业务数据输入到预先部署的模型中，得到模型输出的业务数据的预测结果，并将预测结果返回给数据存储单元。其中，在输入模型之前可以对业务数据进行预处理，和/或，在模型输出预测结果之后可以对预测结果进行后置处理。
[0003]现有技术中，预处理和后置处理通常由数据存储单元执行。
[0004]然而，在采用多个模型进行预测的场景中，为了实现由数据存储单元执行预处理和后置处理的目的，需要数据存储单元和预测单元之间进行大量交互，降低数据的隐私安全性和模型预测的效率。
[0005]为此，本说明书提供一种数据处理系统。

技术实现思路

[0006]本说明书提供一种数据处理系统、方法及装置，以部分的解决现有技术存在的上述问题。
[0007]本说明书采用下述技术方案：
[0008]本说明书提供了一种数据处理系统，所述系统包括：数据存储单元和可信执行环境集群，所述可信执行环境集群包括预测单元和数据处理单元；
[0009]所述数据存储单元，用于向所述数据处理单元发送业务数据；接收所述数据处理单元发送的数据处理结果，并根据所述数据处理结果执行业务；
[0010]所述数据处理单元，用于接收所述数据存储单元发送的业务数据，并确定所述业务数据对应的多个数据处理任务；针对每个数据处理任务，对该数据处理任务包含的业务数据进行预处理得到该数据处理任务对应的第一数据；将该数据处理任务对应的第一数据发送给所述预测单元；接收由所述预测单元返回的该数据处理任务对应的预测结果，并将该数据处理任务对应的预测结果作为该数据处理任务对应的第二数据；或者，针对每个数据处理任务，将该数据处理任务包含的业务数据发送给所述预测单元；接收由所述预测单元返回的该数据处理任务对应的预测结果，并对该数据处理任务对应的预测结果进行后置处理，得到该数据处理任务对应的第二数据；根据各数据处理任务对应的第二数据，确定数据处理结果；将所述数据处理结果发送给所述数据存储单元；
[0011]所述预测单元，用于当接收由所述数据处理单元发送的该数据处理任务对应的第一数据时，将该数据处理任务对应的第一数据输入预先部署的该数据处理任务对应的模型，得到该数据处理任务对应的模型输出的该数据处理任务对应的预测结果；当接收到由
所述数据处理单元发送的该数据处理任务对应的业务数据时，将该数据处理任务对应的业务数据输入预先部署的该数据处理任务对应的模型，得到该数据处理任务对应的模型输出的该数据处理任务对应的预测结果；将该数据处理任务对应的预测结果返回给所述数据处理单元。
[0012]本说明书提供了一种数据处理方法，所述方法应用于数据处理单元，所述方法包括：
[0013]接收数据存储单元发送的业务数据，并确定所述业务数据对应的多个数据处理任务；
[0014]针对每个数据处理任务，对该数据处理任务包含的业务数据进行预处理得到该数据处理任务对应的第一数据；将该数据处理任务对应的第一数据发送给预测单元，以使所述预测单元将该数据处理任务对应的第一数据输入预先部署的该数据处理任务对应的模型，得到该数据处理任务对应的模型输出的该数据处理任务对应的预测结果，并返回该数据处理任务对应的预测结果；接收由所述预测单元返回的该数据处理任务对应的预测结果，并将该数据处理任务对应的预测结果作为该数据处理任务对应的第二数据；
[0015]或者，
[0016]针对每个数据处理任务，将该数据处理任务包含的业务数据发送给所述预测单元，以使所述预测单元将该数据处理任务包含的业务数据输入预先部署的该数据处理任务对应的模型，得到并返回该数据处理任务对应的预测结果；接收由所述预测单元返回的该数据处理任务对应的预测结果，并对该数据处理任务对应的预测结果进行后置处理，得到该数据处理任务对应的第二数据；
[0017]根据各数据处理任务对应的第二数据，确定数据处理结果；
[0018]将所述数据处理结果发送给所述数据存储单元，以便所述数据存储单元根据所述数据处理结果执行业务。
[0019]本说明书提供了一种数据处理方法，所述方法应用于任务分配单元，所述方法包括：
[0020]接收数据存储单元发送的业务数据；
[0021]根据所述业务数据生成多个数据处理任务；
[0022]依次针对每个数据处理任务，将该数据处理任务分配给数据处理单元，以使所述数据处理单元对该数据处理任务包含的业务数据进行预处理，得到该数据处理任务对应的第一数据，并发送该数据处理任务对应的第一数据；接收所述数据处理单元发送的该数据处理任务对应的第一数据，并将该数据处理任务对应的第一数据转发给预测单元，以便所述预测单元将该数据处理任务对应的第一数据输入预先部署的该数据处理任务对应的模型，得到该数据处理任务对应的预测结果；接收所述预测单元发送的该数据处理任务对应的预测结果，并将该数据处理任务对应的预测结果作为该数据处理任务对应的第二数据；
[0023]或者，
[0024]依次针对每个数据处理任务，将该数据处理任务分配给所述预测单元，以便所述预测单元将该数据处理任务包含的业务数据输入预先部署的该数据处理任务对应的模型，得到并返回该数据处理任务对应的预测结果；接收所述预测单元发送的该数据处理任务对应的预测结果，将该数据处理任务对应的预测结果转发给所述数据处理单元，使得所述数
据处理单元对该数据处理任务对应的预测结果进行后置处理，得到该数据处理任务对应的第二数据；接收所述数据处理单元发送的该数据处理任务对应的第二数据；
[0025]根据所述各数据处理任务对应的第二数据，确定数据处理结果；
[0026]将所述数据处理结果发送给所述数据存储单元，以便所述数据存储单元根据所述数据处理结果执行业务。
[0027]本说明书提供了一种数据处理装置，所述方法应用于数据处理单元，所述装置包括：
[0028]第一接收模块，用于接收数据存储单元发送的业务数据，并确定所述业务数据对应的多个数据处理任务；
[0029]第一预处理模块，用于针对每个数据处理任务，对该数据处理任务包含的业务数据进行预处理得到该数据处理任务对应的第一数据；将该数据处理任务对应的第一数据发送给预测单元，以使所述预测单元将该数据处理任务对应的第一数据输入预先部署的该数据处理任务对应的模型，得到该数据处理任务对应的模型输出的该数据处理任务对应的预测结果，并返回该数据处理任务对应的预测结果；接收由所述预测单元返回的该数据处理任务对应的预测结果，并将该数据处理任务对应的预测结果作为该数据处理任务对应的第二数据；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，所述系统包括：数据存储单元和可信执行环境集群，所述可信执行环境集群包括预测单元和数据处理单元；所述数据存储单元，用于向所述数据处理单元发送业务数据；接收所述数据处理单元发送的数据处理结果，并根据所述数据处理结果执行业务；所述数据处理单元，用于接收所述数据存储单元发送的业务数据，并确定所述业务数据对应的多个数据处理任务；针对每个数据处理任务，对该数据处理任务包含的业务数据进行预处理得到该数据处理任务对应的第一数据；将该数据处理任务对应的第一数据发送给所述预测单元；接收由所述预测单元返回的该数据处理任务对应的预测结果，并将该数据处理任务对应的预测结果作为该数据处理任务对应的第二数据；或者，针对每个数据处理任务，将该数据处理任务包含的业务数据发送给所述预测单元；接收由所述预测单元返回的该数据处理任务对应的预测结果，并对该数据处理任务对应的预测结果进行后置处理，得到该数据处理任务对应的第二数据；根据各数据处理任务对应的第二数据，确定数据处理结果；将所述数据处理结果发送给所述数据存储单元；所述预测单元，用于当接收由所述数据处理单元发送的该数据处理任务对应的第一数据时，将该数据处理任务对应的第一数据输入预先部署的该数据处理任务对应的模型，得到该数据处理任务对应的模型输出的该数据处理任务对应的预测结果；当接收到由所述数据处理单元发送的该数据处理任务对应的业务数据时，将该数据处理任务对应的业务数据输入预先部署的该数据处理任务对应的模型，得到该数据处理任务对应的模型输出的该数据处理任务对应的预测结果；将该数据处理任务对应的预测结果返回给所述数据处理单元。2.如权利要求1所述的系统，所述系统还包括任务分配单元；所述数据存储单元，具体用于向所述任务分配单元发送业务数据；接收所述任务分配单元发送的数据处理结果，并根据所述数据处理结果执行业务；所述任务分配单元，具体用于接收所述数据存储单元发送的业务数据；根据所述业务数据生成多个数据处理任务；依次针对每个数据处理任务，将该数据处理任务分配给所述数据处理单元；接收所述数据处理单元发送的该数据处理任务对应的第一数据，并将该数据处理任务对应的第一数据转发给所述预测单元；接收所述预测单元发送的该数据处理任务对应的预测结果，并将该数据处理任务对应的预测结果作为该数据处理任务对应的第二数据；或者，依次针对每个数据处理任务，将该数据处理任务分配给所述预测单元；接收所述预测单元发送的该数据处理任务对应的预测结果，将该数据处理任务对应的预测结果转发给所述数据处理单元；接收所述数据处理单元发送的该数据处理任务对应的第二数据；根据所述各数据处理任务对应的第二数据，确定数据处理结果；将所述数据处理结果发送给所述数据存储单元；所述数据处理单元，具体用于当接收所述任务分配单元分配的该数据处理任务，对该数据处理任务包含的业务数据进行预处理，得到该数据处理任务对应的第一数据，将该数据处理任务对应的第一数据发送给所述任务分配单元；当接收由所述任务分配单元转发的该数据处理任务对应的预测结果，对该数据处理任务对应的预测结果进行后置处理，得到该数据处理任务对应的第二数据，将该数据处理任务对应的第二数据发送给所述任务分配单元；
所述预测单元，具体用于当接收由所述任务分配单元发送的该数据处理任务对应的第一数据，将该数据处理任务对应的第一数据输入预先部署的该数据处理任务对应的模型，得到该数据处理任务对应的模型输出的该数据处理任务对应的预测结果，将该数据处理任务对应的预测结果返回给所述任务分配单元；当接收由所述任务分配单元分配的该数据处理任务，将该数据处理任务包含的业务数据输入预先部署的该数据处理任务对应的模型，得到该数据处理任务对应的模型输出的该数据处理任务对应的预测结果，将该数据处理任务对应的预测结果返回给所述任务分配单元。3.如权利要求2所述的系统，所述数据存储单元，还用于向所述任务分配单元发送证明请求；接收由所述任务分配单元发送的第一运行状态和第二运行状态，并根据所述第一运行状态和第二运行状态，分别确定预测单元和数据处理单元是否可信；在确定所述预测单元和所述数据处理单元均可信时，向所述任务分配单元发送业务数据；所述任务分配单元，还用于响应于所述数据存储单元发送的证明请求，向所述数据处理单元发送第一证明请求以及向所述预测单元发送第二证明请求；接收由所述数据处理单元返回的第一运行状态，以及由所述预测单元返回的第二运行状态，将所述第一运行状态和所述第二运行状态发送给所述数据存储单元；所述数据处理单元，还用于响应于所述任务分配单元发送的第一证明请求，获取所述数据处理单元自身的第一运行状态；将所述第一运行状态返回所述任务分配单元；所述预测单元，还用于响应于所述任务分配单元发送的第二证明请求，获取所述预测单元自身的第二运行状态；将所述第二运行状态返回所述任务分配单元。4.如权利要求1所述的系统，所述系统还包括模型存储单元；所述模型存储单元，还用于预先向预测单元发送模型配置文件；接收并存储由所述预测单元返回的模型标识，并建立所述模型标识与所述模型配置文件之间的对应关系；所述预测单元，还用于响应于所述模型存储单元发送的模型配置文件，部署所述模型配置文件对应的模型，并为所述模型配置文件对应的模型分配模型标识；将所述模型标识返回给所述模型存储单元。5.如权利要求4所述的系统，所述模型存储单元，还用于向所述预测单元发送携带模型标识的模型下线请求；接收所述预测单元返回的模型下线结果；所述预测单元，还用于响应于所述模型存储单元发送的模型下线请求，根据所述模型下线请求携带的模型标识，删除所述模型标识对应的模型配置文件，生成模型下线结果；将所述模型下线结果返回给所述模型存储单元。6.如权利要求4所述的系统，所述数据存储单元，还用于向所述模型存储单元发送标识获取请求；接收所述模型存储单元发送的各模型标识和所述各模型标识与各模型配置文件的对应关系；根据业务数据和所述对应关系，从所述各模型标识中选择目标模型标识；向所述数据处理单元发送目标模型标识和业务数据；所述模型存储单元，还用于响应于所述数据存储单元发送的标识获取请求，将存储的若干模型标识，和各模型标识与各模型配置文件的对应关系发送给所述数据存储单元；所述数据处理单元，具体用于接收所述数据存储单元发送的目标模型标识和业务数据；根据所述目标模型标识和所述业务数据确定多个数据处理任务。7.一种数据处理方法，所述方法应用于数据处理单元，所述方法包括：
接收数据存储单元发送的业务数据，并确定所述业务数据对应的多个数据处理任务；针对每个数据处理任务，对该数据处理任务包含的业务数据进行预处理得到该数据处理任务对应的第一数据；将该数据处理任务对应的第一数据发送给预测单元，以使所述预测单元将该数据处理任务对应的第一数据输入预先部署的该数据处理任务对应的模型，得到该数据处理任务对应的模型输出的该数据处理任务对应的预测结果，并返回该数据处理任务对应的预测结果；接收由所述预测单元返回的该数据处理任务对应的预测结果，并将该数据处理任务对应的预测结果作为该数据处理任务对应的第二数据；或者，针对每个数据处理任务，将该数据处理任务包含的业务数据发送给所述预测单元，以使所述预测单元将该数据处理任务包含的业务数据输入预先部署的该数据处理任务对应的模型，得到并返回该数据处理任务对应的预测结果；接收由所述预测单元返回的该数据处理任务对应的预测结果，并对该数据处理任务对应的预测结果进行后置处理，得到该数据处理任务对应的第二数据；根据各数据处理任务对应的第二数据，确定数据处理结果；将所述数据处理结果发...

【专利技术属性】
技术研发人员：张俊发，谭华哲，贺钰洁，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：