数据的处理方法、装置、电子设备和存储介质制造方法及图纸

本公开公开了一种数据的处理方法、装置、电子设备和存储介质，尤其涉及自然语言处理等人工智能技术领域。其中，具体方案为：获取数据处理请求，请求中包含待处理的图数据；遍历图数据中的实体，以确定图数据中包含的节点集及连接边集；基于预设的策略，确定每个目标服务器分别对应的待处理数据；将每个待处理数据分别发送至对应的目标服务器，以使目标服务器对待处理数据进行处理。由此，可以先确定出图数据中包含的节点集及连接边集，之后按照策略，确定出每个目标服务器分别对应的待处理数据，并将每个待处理数据分别发送至对应的目标服务器，以使得多个目标服务器对待处理数据并行处理，从而提高了数据处理效率。从而提高了数据处理效率。从而提高了数据处理效率。

【技术实现步骤摘要】
数据的处理方法、装置、电子设备和存储介质


[0001]本公开涉及数据处理
，具体涉及自然语言处理等人工智能
，尤其涉及一种数据的处理方法、装置、电子设备和存储介质。

技术介绍

[0002]通常，在数据库应用中，用户可能需要将外部数据，比如用户生产的数据、或者其他数据库导出的数据等进行处理。相关技术中，若有大量数据需要进行处理时，所需资源量可能较大，从而可能无法在短时间内将大量数据全部处理完毕。由此，如何提高大批量数据处理的效率，显得至关重要。

技术实现思路

[0003]本公开提供了一种数据的处理方法、装置、电子设备和存储介质。
[0004]本公开一方面，提供了一种数据的处理方法，包括：
[0005]获取数据处理请求，其中，所述请求中包含待处理的图数据；
[0006]遍历所述图数据中的实体，以确定所述图数据中包含的节点集及连接边集；
[0007]基于预设的策略，确定每个目标服务器分别对应的待处理数据，其中，所述待处理数据中包含至少一个节点，和/或，至少一条连接边；r/>[0008]将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的处理方法，其中，包括：获取数据处理请求，其中，所述请求中包含待处理的图数据；遍历所述图数据中的实体，以确定所述图数据中包含的节点集及连接边集；基于预设的策略，确定每个目标服务器分别对应的待处理数据，其中，所述待处理数据中包含至少一个节点，和/或，至少一条连接边；将每个所述待处理数据分别发送至对应的目标服务器，以使所述目标服务器对所述待处理数据进行处理。2.如权利要求1所述的方法，其中，所述基于预设的策略，确定每个目标服务器分别对应的待处理数据，包括：确定每个所述预设的策略对应的目标切分方式，其中，所述预设的策略包括以下任意一项：资源均衡、减少通信及区域数据解析；基于所述目标切分方式，对所述节点集及连接边集进行切分，以确定每个所述目标服务器分别对应的待处理数据。3.如权利要求2所述的方法，其中，所述基于所述目标切分方式，对所述节点集及连接边集进行切分，以确定每个所述目标服务器分别对应的待处理数据，包括：在所述预设的策略为资源均衡、所述目标切分方式为基于字段信息切分的情况下，分别对所述节点集中每个节点的第一属性信息及所述连接边集中每条连接边的第二属性信息进行解析，以确定每个所述节点对应的第一字段及每条所述连接边对应的第二字段；在所述目标服务器的数量为m的情况下，将每个所述第一字段及每个所述第二字段分别对m取余，以确定每个所述节点对应的第一余数及每条所述连接边对应的第二余数,其中，m为大于1的任意整数；将数值相同的第一余数和第二余数分别对应的节点和连接边，确定为同一目标服务器对应的待处理数据。4.如权利要求2所述的方法，其中，所述基于所述目标切分方式，对所述节点集及连接边集进行切分，以确定每个所述目标服务器分别对应的待处理数据，包括：在所述预设的策略为减少通信、所述目标切分方式为基于关联关系切分的情况下，对所述连接边集中的每条连接边的第二属性信息进行解析，以确定每个节点的连接边的数量及每个所述节点对应的关联节点；在任一节点的连接边的数量小于第一阈值的情况下，将所述任一节点、所述任一节点的关联节点及所述任一节点的连接边，确定为任一目标服务器对应的待处理数据。5.如权利要求4所述的方法，其中，在所述将所述任一节点、所述任一节点的关联节点及所述任一节点的连接边，确定为任一目标服务器对应的待处理数据之前，还包括：基于所述任一节点的关联节点的数量及所述任一节点的连接边的数量，确定参考资源量；将集群中当前的可用资源量大于所述参考资源量的任一服务器确定为所述任一目标服务器。6.如权利要求2所述的方法，其中，所述基于所述目标切分方式，对所述节点集及连接边集进行切分，以确定每个所述目标服务器分别对应的待处理数据，包括：在所述预设的策略为区域数据解析、所述目标切分方式为基于区域属性信息切分的情
况下，对所述节点集中每个节点的第一属性信息及所述连接边集中每条连接边的第二属性信息进行解析，以确定每个所述节点及每条所述连接边对应的区域属性信息；将区域属性相同的节点和/或连接边确定为同一目标服务器对应的待处理数据。7.如权利要求1
‑
6中任一所述的方法，其中，在所述将每个所述待处理数据分别发送至对应的目标服务器之后，还包括：响应于接收到数据查询请求，获取当前所述目标服务器处理所述待处理数据的进度值；在所述进度值大于或等于第二阈值的情况下，在图数据库中进行检索并返回第一检索结果；在所述进度值小于所述第二阈值的情况下，在历史图数据库中进行检索并返回第二检索结果，其中，所述第二检索结果中包含所述历史图数据库的更新时间。8.一种数据的处理装置，其中，所述装置包括：获取模块，用于获取数据处理请求，其中，所述请求中包含待处理的图数据；遍历模块，用于遍历所述图...

【专利技术属性】
技术研发人员：王宇，汪洋，王益飞，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：