一种数据处理方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、设备及计算机可读存储介质，该方法包括：获取目标数据；对目标数据进行计算处理，得到第一数据；将第一数据发送至各个其他数据处理设备，并接收各个其他数据处理设备分别发送的各个第二数据；利用第一数据和第二数据更新目标数据，并统计处理次数；当处理次数达到预设阈值时，确定完成数据处理；该方法将需要处理的数据分为多个部分并由各个数据处理设备处理对应的一个部分，并在各个数据处理设备间进行数据同步。因此可以利用多个数据处理设备并行地对需要处理的数据进行处理，提高了数据处理速度和效率。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及可读存储介质
本专利技术涉及数据处理
，特别涉及一种数据处理方法、数据处理装置、数据处理设备及计算机可读存储介质。
技术介绍
大数据时代，图作为一种基础的数据表示方式，广泛应用于各类算法如深度学习，用户推荐等。目前，图的规模往往达到数千万至数亿节点量级，图的边(节点与节点的联系)信息达到数十亿的规模。相关技术在进行图的迭代计算时，通常将图按照源节点和目的节点的数量进行分块，在分块后利用单个数据处理设备将各个分块进行并行计算，或者是在各个分块内划分多个通道，对各个通道进行并行计算，以提高数据处理速度。由于单个数据处理设备计算能力有限，及时进行了分块并行或通道并行的计算方法，但是数据处理速度较慢，处理效率较低。因此，如何解决相关技术存在的数据处理速度较慢，处理效率较低的问题，是本领域技术人员需要解决的技术问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种数据处理方法、数据处理装置、数据处理设备及计算机可读存储介质，解决了相关技术存在的数据处理速度较慢，处理效率较低的问题。...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取目标数据；/n对所述目标数据进行计算处理，得到第一数据；/n将所述第一数据发送至各个其他数据处理设备，并接收各个所述其他数据处理设备分别发送的各个第二数据；/n利用所述第一数据和所述第二数据更新所述目标数据，并统计处理次数；/n当所述处理次数达到预设阈值时，确定完成数据处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取目标数据；
对所述目标数据进行计算处理，得到第一数据；
将所述第一数据发送至各个其他数据处理设备，并接收各个所述其他数据处理设备分别发送的各个第二数据；
利用所述第一数据和所述第二数据更新所述目标数据，并统计处理次数；
当所述处理次数达到预设阈值时，确定完成数据处理。


2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述目标数据进行计算处理，得到第一数据，包括：
从所述目标数据中提取多个源节点地址信息，并分别选取多个所述源节点地址信息中的低位数据作为通道分配信息；
对多个处理通道进行排序，并根据排序结果建立所述通道分配信息与所述处理通道之间的对应关系；
根据所述对应关系，对各个所述源节点地址信息对应的目标子数据进行通道分配；
在各个所述处理通道中，利用处理参数对所述目标子数据进行计算处理，得到第一子数据；
利用所述第一子数据得到所述第一数据。


3.根据权利要求2所述的数据处理方法，其特征在于，在接收各个所述其他数据处理设备分别发送的各个第二数据之后，还包括：
利用所述第一数据和所述第二数据对所述处理参数进行更新。


4.根据权利要求2所述的数据处理方法，其特征在于，所述从所述目标数据中提取多个源节点地址信息，包括：
在所述目标数据中确定目标数据块，并从所述目标数据块中提取多个所述源节点地址信息；
相应的，所述利用所述第一子数据得到所述第一数据，包括：
更新所述目标数据块；
在得到所述目标数据对应所有的所述第一子数据后，利用所有的所述第一子数据生成所述第一数据。


5.根据权利...

【专利技术属性】
技术研发人员：韩海跃，梅国强，王江为，
申请(专利权)人：山东云海国创云计算装备产业创新中心有限公司，
类型：发明
国别省市：山东;37