用户行为数据处理方法、装置、电子设备及可读介质制造方法及图纸

技术编号:23890943 阅读:17 留言:0更新日期:2020-04-22 06:26
本公开涉及一种用户行为数据处理方法、装置、电子设备及计算机可读介质。该方法包括:通过配置信息由用户行为数据中提取节点和节点与节点之间的关系即边信息;通过提取的节点和边构建图对象;对所述图对象进行图划分处理,以生成多个子图;以及基于所述多个子图对所述用户行为数据进行分析。本公开涉及的用户行为数据处理方法、装置、电子设备及计算机可读介质,能够自动化生成关系网络,节约算法工程师的开发时间,并解决大数据量图计算、存储问题,以及毫秒级响应的查询问题。

【技术实现步骤摘要】
用户行为数据处理方法、装置、电子设备及可读介质
本公开涉及计算机信息处理领域,具体而言,涉及一种用户行为数据处理方法、装置、电子设备及计算机可读介质。
技术介绍
在现有技术中,对大数据的处理上面,经常会利用关系网络的方式对用户的行为信息进行分析,识别出欺诈信息或其他平台感兴趣的信息。现有的关系网络主要借助于图数据库进行数据处理,并且使用图数据库提供的算法进行图计算。图主要由节点(Node)和节点之间的关系(relationship)也就是边组成,现有技术中图数据库分为两种:1)Nativegraphstorage,本地存储图数据,这种设计是从每一个角度对节点和边数据的写入和查询进行优化,确保相关联的节点和边在物理上是接近的,可以进行高速访问。但是由于是本地储存数据,不同区域的开发人员对用户行为数据访问十分不便捷,不利于对用户行为数据进行实时分析。2)Non-nativegraphstorage,依赖于外部存储引擎,可以是关系型、columnar或者NoSQL例如MongoDB。由于这些外部存储引擎并没有针对图数据进行存储优化,点和边可能被存放在相互距离很远的地方而造成访问延迟。因此,需要一种新的用户行为数据处理方法、装置、电子设备及计算机可读介质。在所述
技术介绍
部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
有鉴于此,本公开提供一种用户行为数据处理方法、装置、电子设备及计算机可读介质,能够自动化生成关系网络,节约算法工程师的开发时间,并解决大数据量图计算、存储问题,以及毫秒级响应的查询问题。本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。根据本公开的一方面,提出一种用户行为数据处理方法,该方法包括:通过配置信息由用户行为数据中提取第一节点和第一边;通过所述第一节点和所述第一边构建图对象;对所述图对象进行图划分处理,以生成多个子图;以及基于所述多个子图对所述用户行为数据进行分析。在本公开的一种示例性实施例中,还包括:将所述多个子图储存在分布式数据库中;其中,将所述多个子图中的所述第一节点的节点值作为所述分布式数据库的行键值;和/或将所述多个子图中的所述第一边的边值作为所述分布式数据库的行键值。在本公开的一种示例性实施例中,将所述多个子图储存在分布式数据库中包括:确定所述多个子图中每一个子图的标识;确定所述多个子图中每一个子图的节点集合;确定所述多个子图中每一个子图的边集合;以及将子图的标识与节点集合、边集合进行关联储存。在本公开的一种示例性实施例中,还包括:将所述行键值进行信息加密后储存。在本公开的一种示例性实施例中,还包括:由实时数据中提取节点和边;将节点与用户历史行为数据的节点进行比对;以及在比对结果一致时,将实时数据的节点和边合并到所述多个子图中。在本公开的一种示例性实施例中,还包括:在比对结果不一致时,通过所述节点与所述边构建子图。在本公开的一种示例性实施例中,由实时数据中提取节点和边包括:解析所述实时数据,生成目标字符串;以及通过所述目标字符串提取所述节点和边。在本公开的一种示例性实施例中,通过配置信息由用户行为数据中提取节点和边包括:由数据仓库中获取用户行为数据,所述用户行为数据为关系库型数据;根据配置信息由用户历史行为数据中提取预定字段的信息;以及通过预定字段的信息生成所述节点和边。在本公开的一种示例性实施例中,对所述图对象进行图划分处理,以生成多个子图包括:利用最大连通子图算法对所述图对象进行图划分处理,以生成多个子图。在本公开的一种示例性实施例中,利用最大连通子图算法对所述图对象进行图划分处理,以生成多个子图还包括:对所述多个子图中不满足条件的子图再次进行图划分处理。根据本公开的一方面,提出一种用户行为数据处理装置,该装置包括:数据模块,用于通过配置信息由用户历史行为数据中提取节点和边;图模块,用于通过所述节点和所述边构建图对象;子图模块,用于对所述图对象进行图划分处理,以生成多个子图;以及分析模块,用于基于所述多个子图对所述用户行为数据进行分析。在本公开的一种示例性实施例中,还包括:储存模块,用于将所述多个子图储存在分布式数据库中;其中,将所述多个子图中的所述节点的节点值作为所述分布式数据库的行键值;和/或将所述多个子图中的所述边边中的起始点id与目标点id以及关系类型作为所述分布式数据库的行键值;和/或实时模块,用于由实时数据中提取节点和边;将实时数据中的节点与历史数据节点进行比对,与已划分好的子图进行合并。根据本公开的一方面,提出一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上文的方法。根据本公开的一方面,提出一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上文中的方法。根据本公开的用户行为数据处理方法、装置、电子设备及计算机可读介质,能够自动化生成关系网络,节约算法工程师的开发时间,并解决大数据量图计算、存储问题,以及毫秒级响应的查询问题。应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。附图说明通过参照附图详细描述其示例实施例,本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是根据一示例性实施例示出的一种用户行为数据处理方法及装置的系统框图。图2是根据一示例性实施例示出的一种用户行为数据处理方法及装置的系统架构。图3是根据一示例性实施例示出的一种用户行为数据处理方法的流程图。图4是根据另一示例性实施例示出的一种用户行为数据处理方法的流程图。图5是根据另一示例性实施例示出的一种用户行为数据处理方法的流程图。图6是根据一示例性实施例示出的一种用户行为数据处理装置的框图。图7是根据另一示例性实施例示出的一种用户行为数据处理装置的框图。图8是根据一示例性实施例示出的一种电子设备的框图。图9是根据一示例性实施例示出一种计算机可读存储介质示意图。具体实施方式现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有本文档来自技高网...

【技术保护点】
1.一种用户行为数据处理方法,其特征在于,包括:/n通过配置信息由用户行为数据中提取第一节点和第一边;/n通过所述第一节点和所述第一边构建图对象;/n对所述图对象进行图划分处理,以生成多个子图;以及/n基于所述多个子图对所述用户行为数据进行分析。/n

【技术特征摘要】
1.一种用户行为数据处理方法,其特征在于,包括:
通过配置信息由用户行为数据中提取第一节点和第一边;
通过所述第一节点和所述第一边构建图对象;
对所述图对象进行图划分处理,以生成多个子图;以及
基于所述多个子图对所述用户行为数据进行分析。


2.如权利要求1所述的方法,其特征在于,还包括:
将所述多个子图储存在分布式数据库中;
其中,将所述多个子图中的第一节点的节点值作为所述分布式数据库的行键值;和/或将所述多个子图中的第一边的边值作为所述分布式数据库的行键值。


3.如权利要求2所述的方法,其特征在于,将所述多个子图储存在分布式数据库中包括:
确定所述多个子图中每一个子图的标识;
确定所述多个子图中每一个子图的第一节点集合;
确定所述多个子图中每一个子图的第一边集合;以及
将子图的标识与第一节点集合、第一边集合进行关联储存。


4.如权利要求2所述的方法,其特征在于,还包括:
将所述行键值进行信息加密后储存。


5.如权利要求1所述的方法,其特征在于,还包括:
将实时的用户行为数据合并入所述多个子图中。


6.如权利要求5所述的方法,其特征在于,将实时的用户行为数据合并入所述多个子图中包括:
由实时的用户行为数据中提取第二节点和第二边;
将第二节点与子图中的第一节点进行比对;以及
在比对结果一致时,将第二节点和第二边合并到子图中。


7.如权利要求6所述的方法,其特征在于,还包括:
在比对结果不一致时,通过所述第二节点与所述第二边构建子图。


8.如权利要求6所述的方法,其特征在于,由实时的用户行为数据中提取第二节点和第二边包括:
解析所述实时的用户行为数据,生成目标字符串;以及
通过所述目标字符串提取所述第二节点和第二边。


9.如权利要求1所述的方法,其特征在于,通过配置信息...

【专利技术属性】
技术研发人员:周石磊
申请(专利权)人:北京京东金融科技控股有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1