一种数据处理方法和装置制造方法及图纸

本申请提供了一种数据处理方法和装置，应用于服务器中，包括：从第一设备获得待处理数据，将该待处理数据存储到服务器的执行器中的目标缓存，该执行器中运行的多个任务中的任意任务均能够从该目标缓存中获得待处理数据进行计算。本方案中，将待共享的数据存储到计算任务的执行器中，所有的任务共享这个数据，不会因为任务的结束而销毁，而且由于任务共享数据，只需要一次传输即可，减少数据网络传输占据的网络带宽，提高计算效率。提高计算效率。提高计算效率。

【技术实现步骤摘要】
一种数据处理方法和装置
[0001]本申请要求于2022年06月17日提交中国专利局、申请号为202210686213.9、专利技术名称为“一种数据处理方法和装置”的中国专利申请的优先权，其全部内容引用在本申请中。


[0002]本申请涉及信息
，更具体的说，是涉及一种数据处理方法和装置。

技术介绍

[0003]空间数据是指用来表示空间实体的位置、形状、大小及其分布特征诸多方面信息的数据，相对于传统数据，空间数据携带庞大的空间信息，多是一组闭合的坐标点范围或者点坐标等。
[0004]如图1所示的是传统方式的空间数据传输的示意图，客户端将待共享数据分别传输给服务器，服务器的执行器中有三个任务，每一个任务为一个线程，独立运行，当待共享数据被任务需要时，将待共享的数据发送到每一个任务的节点中，进而来完成计算任务。但是，由于空间数据携带的空间信息庞大，采用该种方式会极大程度的占用网络带宽，进而造成数据倾斜，影响计算效率。

技术实现思路

[0005]有鉴于此，本申请提供了一种数据处理方法，如下：
[0006]一种数据处理方法，应用于服务器中的执行器，所述方法包括：
[0007]从第一设备获取待处理数据；
[0008]将所述待处理数据存储到目标缓存，以使得服务器的执行器中运行的任意任务能够从所述目标缓存中获得待处理数据进行计算，所述执行器中有至少两个任务。
[0009]可选的，上述的方法，从第一设备获取待处理数据，包括：
[0010]接收第一设备的广播信息；
[0011]基于所述广播信息从第一设备获取待处理数据。
[0012]可选的，上述的方法，所述广播信息包含待处理数据的存储地址，基于所述广播信息从第一设备获取待处理数据，包括：
[0013]基于所述广播信息中包含的待处理数据的存储地址，向所述第一设备请求所述待处理数据；
[0014]接收第一设备发送的待处理数据。
[0015]可选的，上述的方法，所述广播信息包含待处理数据的存储地址，基于所述广播信息从第一设备获取待处理数据，包括：
[0016]接收任意任务调用目标数据的请求，所述目标数据是所述待处理数据的至少部分数据；
[0017]在所述目标缓存存储的广播信息中筛选与所述请求对应的目标广播信息；
[0018]基于所述目标广播信息对应的存储地址，向所述第一设备请求目标数据；
[0019]接收第一设备发送的目标数据。
[0020]可选的，上述的方法，接收任意任务调用待处理数据的请求之后，在所述目标缓存存储的广播信息中筛选与所述请求对应的目标广播信息之前，还包括：
[0021]在所述目标缓存查找所述请求对应的目标数据，得到查找结果；
[0022]若所述查找结果表征所述目标缓存存储有所述目标数据，将所述目标数据提供给所述任务，以使得所述任务基于所述目标数据进行计算；
[0023]若所述查找结果表征所述目标区域未存储所述目标数据，触发执行所述在所述目标缓存存储的广播信息中筛选与所述请求对应的目标广播信息步骤。
[0024]可选的，上述的方法，将所述待处理数据存储到所述服务器的执行器中目标缓存，包括：
[0025]分析所述待处理数据得到所述待处理数据的空间属性；
[0026]基于所述待处理数据的空间属性确定所述待处理数据所属的目标数据分区范围；
[0027]确定目标数据分区范围对应的目标存储区域；
[0028]将所述待处理数据存储到与所述目标存储区域。
[0029]一种数据处理方法，应用于第一设备，包括：
[0030]基于当前业务场景，选择待处理数据；
[0031]将所述待处理数据发送给至少一个服务器，以使得所述服务器将所述待处理数据存储到目标缓存，所述服务器中的任意任务能够从所述目标缓存中获得待处理数据进行计算，所述服务器中有至少两个任务。
[0032]可选的，上述的方法，将所述待处理数据发送给至少一个服务器，包括：
[0033]按照预设数据量大小，将待处理数据切分为至少两个数据块；
[0034]存储所述至少两个数据块，并记录每个数据块的存储地址；
[0035]基于所述数据块的存储地址，生成广播信息；
[0036]广播所述广播信息，以使得至少两个服务器能够基于所述广播信息在所述第一设备获得所述待处理数据。
[0037]一种数据处理装置，应用于服务器，所述装置包括：
[0038]获取模块，用于从第一设备获取待处理数据；
[0039]存储模块，用于将所述待处理数据存储到目标缓存，以使得服务器的执行器中运行的任意任务能够从所述目标缓存中获得待处理数据进行计算，所述执行器中有至少两个任务。
[0040]一种数据处理装置，应用于第一设备，所述装置包括：
[0041]选择模块，用于基于当前业务场景，选择待处理数据；
[0042]发送模块，用于将所述待处理数据发送给至少一个服务器，以使得所述服务器将所述待处理数据存储到目标缓存，所述服务器中的任意任务能够从所述目标缓存中获得待处理数据进行计算，所述服务器中有至少两个任务。
[0043]经由上述的技术方案可知，本申请提供了一种数据处理方法，应用于服务器，该方法包括：从第一设备获得待处理数据，将该待处理数据存储到服务器的执行器中的目标缓存，该执行器中运行的多个任务中的任意任务均能够从该目标缓存中获得待处理数据进行
计算。本方案中，将待共享的数据存储到计算任务的执行器中，所有的任务共享这个数据，不会因为任务的结束而销毁，而且由于任务共享数据，只需要一次传输即可，减少数据网络传输占据的网络带宽，提高计算效率。
附图说明
[0044]为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0045]图1是传统方式的空间数据传输的示意图；
[0046]图2是本申请提供的一种数据处理方法实施例1的流程图；
[0047]图3是本申请提供的一种数据处理方法实施例1中服务器的结构示意图；
[0048]图4是本申请提供的一种数据处理方法实施例2的流程图；
[0049]图5是本申请提供的一种数据处理方法实施例3的流程图；
[0050]图6是本申请提供的一种数据处理方法实施例4的流程图；
[0051]图7是本申请提供的一种数据处理方法实施例5的流程图；
[0052]图8是本申请提供的一种数据处理方法实施例6的流程图；
[0053]图9是本申请提供的一种数据处理方法实施例7的流程图；
[0054]图10是本申请提供的一种数据处理方法实施例8的流程图；
[0055]图11是本申请提供的一种数据处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于服务器，所述方法包括：从第一设备获取待处理数据；将所述待处理数据存储到目标缓存，以使得服务器的执行器中运行的任意任务能够从所述目标缓存中获得待处理数据进行计算，所述执行器中有至少两个任务。2.根据权利要求1所述的方法，其特征在于，从第一设备获取待处理数据，包括：接收第一设备的广播信息；基于所述广播信息从第一设备获取待处理数据。3.根据权利要求2所述的方法，其特征在于，所述广播信息包含待处理数据的存储地址，基于所述广播信息从第一设备获取待处理数据，包括：基于所述广播信息中包含的待处理数据的存储地址，向所述第一设备请求所述待处理数据；接收第一设备发送的待处理数据。4.根据权利要求2所述的方法，其特征在于，所述广播信息包含待处理数据的存储地址，基于所述广播信息从第一设备获取待处理数据，包括：接收任意任务调用目标数据的请求，所述目标数据是所述待处理数据的至少部分数据；在所述目标缓存存储的广播信息中筛选与所述请求对应的目标广播信息；基于所述目标广播信息对应的存储地址，向所述第一设备请求目标数据；接收第一设备发送的目标数据。5.根据权利要求4所述的方法，其特征在于，接收任意任务调用待处理数据的请求之后，在所述目标缓存存储的广播信息中筛选与所述请求对应的目标广播信息之前，还包括：在所述目标缓存查找所述请求对应的目标数据，得到查找结果；若所述查找结果表征所述目标缓存存储有所述目标数据，将所述目标数据提供给所述任务，以使得所述任务基于所述目标数据进行计算；若所述查找结果表征所述目标区域未存储所述目标数据，触发执行所述在所述目标缓存存储的广播信息中筛选与所述请求对应的目标广播信息步骤。6.根据权利要求3所述的方法...

【专利技术属性】
技术研发人员：韩晓峰，陆佳，张永朋，齐小玲，于福豪，杨龙，毛玲芬，
申请(专利权)人：上海数慧系统技术有限公司，
类型：发明
国别省市：