一种子图规模预测和分布式训练方法、装置及电子设备制造方法及图纸

本申请实施例提供了一种子图规模预测和分布式训练方法、装置及电子设备，获取图的节点个数、平均度及子图个数，并根据节点个数、平均度及子图个数，利用预测模型，获得子图平均节点数；若子图平均节点数超过计算单元可承载的节点数上限，则调整子图个数，并返回执行根据节点个数、平均度及子图个数，利用预测模型，获得子图平均节点数的步骤；若子图平均节点数不超过节点数上限，则确定包括当前的子图个数和子图平均节点数的子图规模预测结果。通过本方案，增加了计算单元可处理子图的可能性，从而在一定程度上保证了计算单元可对子图进行正常处理。

【技术实现步骤摘要】
一种子图规模预测和分布式训练方法、装置及电子设备
本申请涉及机器学习
，特别是涉及一种子图规模预测和分布式训练方法、装置及电子设备。
技术介绍
在机器学习
中，为了使机器理解某些专业领域的知识及实体间不规则的数据结构，常利用图论中图的形式对相关知识和/或实体进行描述，如社交网络、知识图谱、化学分子结构等。图中包括多个节点，节点表示知识和/或实体，节点和节点间的连线称为边，边用来表征两个节点之间存在关联关系。随着知识和实体规模的不断扩大以及历史数据的不断增多，图中节点和边的数量非常庞大，普通的计算单元由于计算资源受限无法进行正常的图处理，给图处理带来了巨大挑战。解决上述问题的最好方式就是分布式处理，即将图切割成多个子图，由分布式的计算单元对各子图进行处理，以达到对整张图进行处理的目的。然而，实际应用中，计算单元能够承载的子图规模是有限的，如果对图切割的不合理，例如每个子图中包含的节点数都非常大，就会导致计算单元无法对子图进行处理。
技术实现思路
本申请实施例的目的在于提供一种子图规模预测和分布式训练本文档来自技高网...

【技术保护点】
1.一种子图规模预测方法，其特征在于，所述方法包括：/n获取图的节点个数、平均度及子图个数；其中，所述图中包括多个节点；两个节点之间的连线构成边，表征所述两个节点相关联；所述平均度为所述图中各节点的度的平均值，所述节点的度表示该节点的边的条数；所述子图个数在初始情况下为设定值；/n根据所述节点个数、所述平均度及所述子图个数，利用预测模型，获得子图平均节点数；其中，所述预测模型基于预设图切割算法和所述子图个数对所述图进行切割得到子图的切割结果建立；/n若所述子图平均节点数超过计算单元可承载的节点数上限，则调整所述子图个数，并返回执行所述根据所述节点个数、所述平均度及所述子图个数，利用预测模型，获...

【技术特征摘要】
1.一种子图规模预测方法，其特征在于，所述方法包括：
获取图的节点个数、平均度及子图个数；其中，所述图中包括多个节点；两个节点之间的连线构成边，表征所述两个节点相关联；所述平均度为所述图中各节点的度的平均值，所述节点的度表示该节点的边的条数；所述子图个数在初始情况下为设定值；
根据所述节点个数、所述平均度及所述子图个数，利用预测模型，获得子图平均节点数；其中，所述预测模型基于预设图切割算法和所述子图个数对所述图进行切割得到子图的切割结果建立；
若所述子图平均节点数超过计算单元可承载的节点数上限，则调整所述子图个数，并返回执行所述根据所述节点个数、所述平均度及所述子图个数，利用预测模型，获得子图平均节点数的步骤；
若所述子图平均节点数不超过所述节点数上限，则确定子图规模预测结果，其中，所述子图规模预测结果包括当前的子图个数和子图平均节点数。


2.根据权利要求1所述的方法，其特征在于，所述基于预设图切割算法和所述子图个数对所述图进行切割得到子图的步骤，包括：
根据所述子图个数，从所述各节点中选择多组中心节点；
针对任一组中心节点，基于该组中心节点的邻居关系，向外扩张扫描，获得该组中心节点的多阶邻居节点和边，根据获得的各阶邻居节点和边，得到多个子图。


3.根据权利要求2所述的方法，其特征在于，所述针对任一组中心节点，基于该组中心节点的邻居关系，向外扩张扫描，获得该组中心节点的多阶邻居节点和边，根据获得的各阶邻居节点和边，得到多个子图的步骤，包括：
针对任一组中心节点，基于该组中心节点的邻居关系，向外扩张扫描，得到该组中心节点的一阶邻居节点和边，确定该组中心节点、一阶邻居节点、该组中心节点和一阶邻居节点间的边构成子图；
基于一阶邻居节点的邻居关系，向外扩张扫描，得到该组中心节点的二阶邻居节点和边，确定该中心节点、一阶邻居节点、二阶邻居节点、该中心节点和一阶邻居节点间的边、一阶邻居节点和二阶邻居节点间的边构成子图。


4.根据权利要求3所述的方法，其特征在于，所述预测模型为：



其中，VS(A)为对图A进行切割后得到的子图平均节点数，V(A)为图A的节点个数，C(A)为图A的子图个数，d(A)为图A的平均度，γ1为基于所述中心节点的邻居关系向外扩张扫描一阶邻居节点的扩张率，γ2为基于所述一阶邻居节点的邻居关系向外扩张扫描二阶邻居节点的扩张率。


5.根据权利要求4所述的方法，其特征在于，所述扩张率γ1和γ2通过线性回归模型拟合得到，所述线性回归模型基于所述扩张率与所述节点个数、所述平均度的相关性建立。


6.根据权利要求5所述的方法，其特征在于，所述线性回归模型为：



γ2＝α*γ1
其中，ω1、ω2、ω3、ω4、ω5、ω6为预设权重；b为常量；α为对所述扩张率γ1和γ2进行微调的超参。


7.一种分布式训练方法，其特征在于，所述方法包括：
基于预设图切割算法和子图个数，对图进行切割，得到各子图；其中，所述图中包括多个节点；两个节点之间的连线构成边，表征所述两...

【专利技术属性】
技术研发人员：方超，罗逸璕，陈国栋，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33