数据处理方法、装置及电子设备制造方法及图纸

本公开提供了数据处理方法、装置及电子设备，涉及人工智能技术领域，尤其涉及云计算、大数据、智能搜索等技术领域。具体实现方案为：获取数据需求方的数据处理任务；数据处理任务包括，源文件库中的第一任务源文件；向安全沙箱中的运行环境提交第一任务源文件，并在运行环境运行第一任务源文件的过程中，获取第一数据处理请求，其中携带第一任务源文件中的第一数据存储地址以及第一数据处理方式；向数据拥有方的运行数据集群提交第一数据处理请求，以获取处理结果，进而确定数据处理任务的任务执行结果，并提供至数据需求方，其中，数据的存储及计算，由数据拥有方的运行数据集群来实现，使得安全沙箱可以适用于大数据处理，且提高数据处理效率。处理效率。处理效率。

【技术实现步骤摘要】
数据处理方法、装置及电子设备


[0001]本公开涉及人工智能
，尤其涉及云计算、大数据、智能搜索等
，尤其涉及一种数据处理方法、装置及电子设备。

技术介绍

[0002]目前，安全沙箱可以设置有调试环境和运行环境；其中，调试环境可以使用第一数据；运行环境可以使用第二数据；在调试环境中，可以运行待调试的代码以对第一数据做计算，得到计算结果，进而基于计算结果对代码进行调试；调试通过后，在运行环境中，可以基于调试后的代码对第二数据做计算，得到计算结果。
[0003]上述方案中，安全沙箱计算时用到的数据，存储在安全沙箱中，由安全沙箱对数据进行计算处理。导致上述安全沙箱，难以适用于大数据处理。

技术实现思路

[0004]本公开提供了一种数据处理方法、装置及电子设备。
[0005]根据本公开的一方面，提供了一种数据处理方法，应用于安全沙箱，所述方法包括：获取数据需求方的数据处理任务；所述数据处理任务包括，源文件库中的第一任务源文件；所述第一任务源文件中设置有，第一数据存储地址，以及第一数据处理方式；向安全沙箱中的运本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于安全沙箱，所述方法包括：获取数据需求方的数据处理任务；所述数据处理任务包括，源文件库中的第一任务源文件；所述第一任务源文件中设置有，第一数据存储地址，以及第一数据处理方式；向安全沙箱中的运行环境提交所述第一任务源文件，并在所述运行环境运行所述第一任务源文件的过程中，获取所述运行环境提交的携带所述第一数据存储地址以及所述第一数据处理方式的第一数据处理请求；向数据拥有方的运行数据集群提交所述第一数据处理请求，以获取所述运行数据集群按照所述第一数据处理方式对所述第一数据存储地址上的全量数据进行处理得到的处理结果；根据所述数据处理任务中的所述处理结果，确定所述数据处理任务的任务执行结果；将所述任务执行结果提供至所述数据需求方。2.根据权利要求1所述的方法，其中，所述获取数据需求方的数据处理任务，包括：接收所述数据需求方的任务请求，所述任务请求中携带任务源文件标识；根据所述任务源文件标识查询源文件库，获取所述任务源文件标识对应的第一任务源文件；生成包括所述第一任务源文件的数据处理任务。3.根据权利要求1所述的方法，其中，在向安全沙箱中的运行环境提交所述第一任务源文件之前，所述方法还包括：根据所述第一数据存储地址以及所述第一数据处理方式，向所述数据拥有方提交权限申请请求；所述权限申请请求，用于申请按照所述第一数据处理方式对所述第一数据存储地址上的全量数据的处理权限；在未接收到所述数据拥有方的权限通过指示的情况下，停止向安全沙箱中的运行环境提交所述第一任务源文件。4.根据权利要求1所述的方法，其中，所述处理结果存储在所述运行数据集群中，所述方法还包括：监听所述数据处理任务是否执行完成；在所述数据处理任务执行完成的情况下，从所述运行数据集群中拉取所述数据处理任务中的处理结果。5.根据权利要求1所述的方法，其中，所述将所述任务执行结果提供至所述数据需求方，包括：接收所述数据需求方的任务执行结果下载请求；所述任务执行结果下载请求携带，所述任务执行结果标识；与所述数据拥有方交互，确定所述数据需求方是否具有所述任务执行结果标识对应的所述任务执行结果的下载权限；在所述数据需求方具有所述下载权限的情况下，将所述任务执行结果提供至所述数据需求方。6.根据权利要求1所述的方法，其中，所述方法还包括：获取所述数据需求方的源文件编辑任务；向所述安全沙箱中的调试环境提交所述源文件编辑任务，以获取所述调试环境提供的
源文件编辑界面进行显示处理；所述源文件编辑界面，用于数据需求方编辑候选源文件；在所述调试环境运行编辑的候选源文件的过程中，获取所述调试环境提交的第二数据处理请求；所述第二数据处理请求中携带所述候选源文件中的第二数据存储地址以及第二数据处理方式；向所述数据拥有方的调试数据集群提交所述第二数据处理请求，以获取所述调试数据集群按照所述第二数据处理方式对所述第二数据存储地址上的样例数据进行处理得到的处理结果；将所述处理结果显示在所述源文件编辑界面上，以便数据需求方根据所述处理结果对所述候选源文件进行调试处理。7.根据权利要求6所述的方法，其中，所述方法还包括：在所述候选源文件调试完成后，将调试后的候选源文件，添加到源文件库中。8.根据权利要求1至7中任一项所述的方法，其中，所述方法还包括：获取数据拥有方的运行数据集群中全量数据的存储地址，以及数据拥有方的调试数据集群中样例数据的存储地址；所述运行数据集群中所述全量数据的存储地址与所述调试数据集群中所述样例数据的存储地址相同；根据所述存储地址，确定数据存储目录；将所述数据存储目录提供至所述数据需求方，用于所述数据需求方选择需要处理的数据。9.一种数据处理装置，应用于安全沙箱，所述装置包括：第一获取模块，用于获取数据需求方的数据处理任务；所述数据处理任务包括，源文件库中的第一任务源文件；所述第一任务源文件中设置有，第一数据存储地址，以及第一数据处理方式；第一提交模块，用于向安全沙箱中的运行环境提交所述第一任务源文件，并在所述运行环境运行所述第一任务源文件的过程中，获取所述运行环境提交的携带所述第一数据存储地址以及所述第一数据处理方式的第一数据处理请求；第二提交模块，用于向数据拥有...

【专利技术属性】
技术研发人员：王欢，郭强，王霞，瞿晓楠，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：