一种标签确定方法、设备和系统技术方案

技术编号:15262817 阅读:108 留言:0更新日期:2017-05-03 18:53
本申请实施例公开了一种标签确定方法、设备和系统,当前节点设备接收标签更新消息,并将所述标签更新消息发送给标签待确定的节点设备,其中,标签更新消息中携带标签类型和标签值;当前节点设备更新标签待确定的节点设备的标签;当前节点设备判断标签待确定的节点设备在更新前和更新后的标签值的残差是否小于预设的收敛系数;当判断结果为是时,当前节点设备将更新后的标签设置为标签待确定的节点设备的确定标签。通过应用本申请所提出的技术方案,利用少量的标签已确定的节点设备快速实现标签待确定的节点设备的确定,从而提高了标签节点确定的效率,实现对于十亿级别的海量图的分钟级别的标签确定。

Label determination method, device and system

The embodiment of the invention discloses a label determining method, equipment and system, the current node device receives the label update message, node device, and the label update message to the label to be determined which carry the label type and label label update messages; when the node equipment before the node equipment update the label to be determined the label of the current node equipment; convergence judgment coefficient residual label label node equipment to be determined in before and after updating the value is less than a preset; when the judgment result is yes, the current node equipment will be updated after the label set to be determined for the label of the node devices to determine the label. Through the application of the technical scheme for the equipment to be determined fast determine the node label node device using a small amount of tags have been identified, so as to improve the efficiency of tag nodes to determine the level of implementation minutes large graph for one billion level of the label to determine.

【技术实现步骤摘要】

本申请涉及通信
,尤其涉及一种标签确定方法、设备和系统。
技术介绍
现有技术中,通常会应用标签传播算法根据已标记商品、店铺或视频等实体的标签信息去预测未标记商品、店铺或视频等实体的标签信息,例如,电子购物网站的商品类目分类、O2O(OnlineToOffline,线上线下电子商务)店铺主营业务分类、视频分享网站的视频分类等场景中。现有的标签传播算法通常是根据人工标记的已标记实体的标签,利用半监督的方法,根据实体和实体之间的相似度进行标签传播,从而,对未标记的实体进行标记。申请人在实现本专利技术的过程中发现现有分类技术中存在以下技术问题:(1)人工标记标签的人力投入成本很高,而且效率比较低,并且容易出现错误或遗漏。(2)随着网络技术的发展,动辄十亿级别,甚至规模更加巨大的海量数据集的标签传播确定过程的时间复杂度非常高,以至于常规的单机方案无法无法解决海量数据集的标签确定需求。
技术实现思路
本申请实施例提供了一种标签确定的方法及设备,用以利用少量的标签已确定的节点设备确定大量的标签待确定的节点设备。为此,本申请采用以下技术手段:本申请实施例提供了一种标签确定的方法,应用于包括基于整体同步并行计算模型BSP架构的多个节点设备的系统中,该方法包括:当前节点设备接收标签更新消息,并将所述标签更新消息发送给标签待确定的节点设备,其中,所述标签更新消息中携带标签类型和标签值;所述当前节点设备根据所述标签类型和标签值,以及所述标签待确定的节点设备当前的标签,更新所述标签待确定的节点设备的标签;所述当前节点设备判断所述标签待确定的节点设备在更新前和更新后的标签值的残差是否小于预设的收敛系数;当判断结果为是时,所述当前节点设备将所述更新后的标签设置为所述标签待确定的节点设备的确定标签。优选的,所述当前节点设备接收标签更新消息,并将所述标签更新消息发送给标签待确定的节点设备,具体包括:所述当前节点设备接收标签已确定的节点设备发送的标签更新消息,其中,所述标签更新消息中携带的标签类型和标签值是所述当前节点设备根据所述标签已确定的节点设备与所述标签待确定的节点设备的相似度和阻尼系数得到的。优选的,所述当前节点设备将所述更新后的标签设置为所述标签待确定的节点设备的确定标签后,所述方法还包括:所述当前节点设备将所述标签待确定的节点设备的状态设置为标签已确定的节点设备,并不再对所述确定标签进行更新。优选的,所述方法还包括:当所述当前节点设备判断所述标签待确定的节点设备在更新前和更新后的标签值的残差不小于预设的收敛系数时,则再次接收标签更新消息。优选的,所述方法还包括:如果所述标签待确定的节点设备不存在当前的标签,所述当前节点设备设置所述标签待确定的节点设备的当前的标签为标签类型为任意类型,标签值为1的标签。优选的,当前节点设备接收标签更新消息,并将所述标签更新消息发送给标签待确定的节点设备,具体包括:当一个标签待确定的节点设备成为标签已确定的节点设备时,所述标签已确定的节点设备分别根据自身所对应的各边的边属性,对自身已确定的标签值进行处理;所述标签已确定的节点设备沿各边向其他标签待确定的节点设备发送携带有相对应的处理后的标签值的标签更新消息。优选的,所述当前节点设备接收标签更新消息之前,还包括:所述系统的当前节点设备启动,进行初始化操作,并在有向图中读入标签已确定的节点设备的标签和标签待确定的节点设备的标签。另一方面,本申请实施例还提供了一种节点设备,应用于包括基于整体同步并行计算模型BSP架构的多个节点设备的系统中,其特征在于,包括:接收模块,用于接收标签更新消息,并将所述标签更新消息发送给标签待确定的节点设备,其中,所述标签更新消息中携带标签类型和标签值;更新模块,用于根据所述标签类型和标签值,以及所述标签待确定的节点设备当前的标签,更新所述标签待确定的节点设备的标签;判断模块,用于判断所述标签待确定的节点设备在更新前和更新后的标签值的残差是否小于预设的收敛系数;设置模块,用于在所述判断模块的判断结果为是时,将所述更新模块更新后的标签设置为所述标签待确定的节点设备的确定标签。优选的,所述接收模块,具体用于:接收标签已确定的节点设备发送的标签更新消息,其中,所述标签更新消息中携带的标签类型和标签值是所述接收模块根据所述标签已确定的节点设备与所述标签待确定的节点设备的相似度和阻尼系数得到的。优选的,所述设置模块,还用于:将所述标签待确定的节点设备的状态设置为标签已确定的节点设备,并不再对所述确定标签进行更新。优选的,所述接收模块,还用于:当所述判断模块判断所述标签待确定的节点设备在更新前和更新后的标签值的残差不小于预设的收敛系数时,则再次接收标签更新消息。优选的,所述节点设备,还包括:所述设置模块,还用于在所述标签待确定的节点设备不存在当前的标签时,设置所述标签待确定的节点设备的当前的标签为标签类型为任意类型,标签值为1的标签。另一方面,本申请实施例还提供了一种标签确定的方法,应用于包括基于BSP架构的多个节点设备的系统中,所述多个节点设备中包括至少一个原始节点,其特征在于,该方法包括:所述原始节点启动,进行标签初始化操作,并读入所述系统中的标签已确定的节点设备的标签和标签待确定的节点设备的标签;所述原始节点接收标签更新消息,并将所述标签更新消息发送给标签待确定的节点设备,其中,所述标签更新消息中携带标签类型和标签值;所述节点设备根据所述标签类型和标签值,以及所述标签待确定的节点设备当前的标签,更新所述标签待确定的节点设备的标签;所述原始节点判断所述标签待确定的节点设备在更新前和更新后的标签值的残差是否小于预设的收敛系数;当判断结果为是时,所述原始节点将所述更新后的标签设置为所述标签待确定的节点设备的确定标签。优选的,所述原始节点接收标签更新消息,并将所述标签更新消息发送给标签待确定的节点设备,还包括:当一个标签待确定的节点设备成为标签已确定的节点设备时,所述标签已确定的节点设备分别根据自身所对应的各边的边属性,对自身已确定的标签值进行处理;所述标签已确定的节点设备沿各边向其他标签待确定的节点设备发送携带有相对应的处理后的标签值的标签更新消息。另一方面,本申请实施例还提供了一种系统,包括基于BSP架构的多个节点设备,所述多个节点设备中包括至少一个原始节点,其他节点设备分别为标签已确定的节点设备的标签和标签待确定的节点设备,所述原始节点,具体用于:在启动时,进行标签初始化操作,并读入所述系统中的标签已确定的节点设备的标签和标签待确定的节点设备的标签;接收标签更新消息,并将所述标签更新消息发送给标签待确定的节点设备,其中,所述标签更新消息中携带标签类型和标签值;根据所述标签类型和标签值,以及所述标签待确定的节点设备当前的标签,更新所述标签待确定的节点设备的标签;判断所述标签待确定的节点设备在更新前和更新后的标签值的残差是否小于预设的收敛系数;当判断结果为是时,将所述更新后的标签设置为所述标签待确定的节点设备的确定标签。优选的,当一个标签待确定的节点设备成为标签已确定的节点设备时,所述标签已确定的节点设备分别根据自身所对应的各边的边属性,对自身已确定的标签值进行处理;所述标签已确定的节点设备沿各边向其他标签待确定的节点设备本文档来自技高网...

【技术保护点】
一种标签确定的方法,应用于包括基于整体同步并行计算模型BSP架构的多个节点设备的系统中,其特征在于,该方法包括:当前节点设备接收标签更新消息,并将所述标签更新消息发送给标签待确定的节点设备,其中,所述标签更新消息中携带标签类型和标签值;所述当前节点设备根据所述标签类型和标签值,以及所述标签待确定的节点设备当前的标签,更新所述标签待确定的节点设备的标签;所述当前节点设备判断所述标签待确定的节点设备在更新前和更新后的标签值的残差是否小于预设的收敛系数;当判断结果为是时,所述当前节点设备将所述更新后的标签设置为所述标签待确定的节点设备的确定标签。

【技术特征摘要】
1.一种标签确定的方法,应用于包括基于整体同步并行计算模型BSP架构的多个节点设备的系统中,其特征在于,该方法包括:当前节点设备接收标签更新消息,并将所述标签更新消息发送给标签待确定的节点设备,其中,所述标签更新消息中携带标签类型和标签值;所述当前节点设备根据所述标签类型和标签值,以及所述标签待确定的节点设备当前的标签,更新所述标签待确定的节点设备的标签;所述当前节点设备判断所述标签待确定的节点设备在更新前和更新后的标签值的残差是否小于预设的收敛系数;当判断结果为是时,所述当前节点设备将所述更新后的标签设置为所述标签待确定的节点设备的确定标签。2.如权利要求1所述的方法,其特征在于,所述当前节点设备接收标签更新消息,并将所述标签更新消息发送给标签待确定的节点设备,具体包括:所述当前节点设备接收标签已确定的节点设备发送的标签更新消息,其中,所述标签更新消息中携带的标签类型和标签值是所述当前节点设备根据所述标签已确定的节点设备与所述标签待确定的节点设备的相似度和阻尼系数得到的。3.如权利要求1所述的方法,其特征在于,所述当前节点设备将所述更新后的标签设置为所述标签待确定的节点设备的确定标签后,所述方法还包括:所述当前节点设备将所述标签待确定的节点设备的状态设置为标签已确定的节点设备,并不再对所述确定标签进行更新。4.如权利要求1所述的方法,其特征在于,所述方法还包括:当所述当前节点设备判断所述标签待确定的节点设备在更新前和更新后的标签值的残差不小于预设的收敛系数时,则再次接收标签更新消息。5.如权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:如果所述标签待确定的节点设备不存在当前的标签,则设...

【专利技术属性】
技术研发人员:毛仁歆李龙飞
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:开曼群岛;KY

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1