数据处理方法及装置、存储介质、电子装置制造方法及图纸

技术编号:26791412 阅读:32 留言:0更新日期:2020-12-22 17:06
本申请实施例中提供了数据处理方法及装置、存储介质、电子装置,其中,所述方法包括获取按照用户的地理信息分组得到的多个数据流信息,其中,每个所述数据流信息至少包括:用户ID信息、事件信息;根据预设时间窗和所述事件信息,在所述数据流信息中建立不同的两个所述用户ID信息之间的数据关联关系,其中,所述数据关联关系包括:目标用户的用户ID信息与其他用户的用户ID信息之间的关联关系;根据所述数据关联关系的统计结果,计算得到所述目标用户与所述其他用户的亲密度关系。采用本申请的数据处理方法具有高实时性并且还能节省大量运算资源。

【技术实现步骤摘要】
数据处理方法及装置、存储介质、电子装置
本申请涉及计算机视觉处理技术,具体地,涉及数据处理方法及装置、存储介质、电子装置。
技术介绍
在确定人员亲密度关系时通常是根据人员的行为数据,如来源数据(IP地址或者真实地址),访问数据(出现或者点击链接)、偏好(购物或者浏览记录)等进行分组聚类计算相似性与距离,然后根据距离大小归一化到亲密度的描述数值。具体地,当来源数据为人脸照片时可采用人脸照片进行亲密度计算,并利用人脸唯一标识一个人,再利用人脸出现的时空关系和计算机算法做距离几何计算并给出估算结果。在进行亲密度关系计算时依赖于全量数据,在针对于静态数据集做全量计算的过程中当数据不断增加时需要从头计算所有数据,从而影响计算实时性和效率。针对相关技术中,亲密度关系的计算过程依赖全量数据,从而影响计算实时性和计算效率的问题,目前尚未存在有效的解决方案。
技术实现思路
本申请实施例中提供了数据处理方法及装置、存储介质、电子装置,以至少解决相关技术中的亲密度关系的计算过程依赖全量数据,从而影响计算实时性和计算效率的问题。...

【技术保护点】
1.一种数据处理方法,其特征在于,包括:/n获取按照用户的地理信息分组得到的多个数据流信息,其中,每个所述数据流信息至少包括:用户ID信息、事件信息;/n根据预设时间窗和所述事件信息,在所述数据流信息中建立不同的两个所述用户ID信息之间的数据关联关系,其中,所述数据关联关系包括:目标用户的用户ID信息与其他用户的用户ID信息之间的关联关系;/n根据所述数据关联关系的统计结果,计算得到所述目标用户与所述其他用户的亲密度关系。/n

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
获取按照用户的地理信息分组得到的多个数据流信息,其中,每个所述数据流信息至少包括:用户ID信息、事件信息;
根据预设时间窗和所述事件信息,在所述数据流信息中建立不同的两个所述用户ID信息之间的数据关联关系,其中,所述数据关联关系包括:目标用户的用户ID信息与其他用户的用户ID信息之间的关联关系;
根据所述数据关联关系的统计结果,计算得到所述目标用户与所述其他用户的亲密度关系。


2.根据权利要求1所述的方法,其特征在于,所述数据关联关系的统计结果包括:
根据所述用户ID信息得到用户分组信息;
根据所述用户分组信息统计在一个时间段内目标用户组中目标用户的用户ID信息与其他用户的用户ID信息之间的关联关系,其中,所述关联关系至少包括:关联关系数量信息、事件地点数目信息、事件时间信息;
将所述目标用户的所述关联关系数量信息、所述事件地点数目信息、所述事件时间信息作为所述统计结果。


3.根据权利要求2所述的方法,其特征在于,所述将所述目标用户的所述关联关系数量信息、所述事件地点数目信息、所述事件时间信息作为所述统计结果包括:
将所述关联关系数量信息和所述事件地点数目信息存储到流式数据的第一状态;
将所述事件时间信息进行分组统计得到每个分组的关联关系数量,建立一个字典并存储到所述流式数据的第二状态,其中,所述第一状态和/或所述第二状态分别存储在分布式的计算节点。


4.根据权利要求2所述的方法,其特征在于,所述数据关联关系的统计结果通过将每次的统计结果累加到所述流式数据的状态中进行更新。


5.根据权利要求1所述的方法,其特征在于,所述根据预设时间窗和所述事件信息,在所述数据流信息中建立不同的两个所述用户ID信息之间的数据关联关系包括:
根据每个所述用户ID信息在所述预设时间窗中的最后一条时间出现的事件,得到第一事件数组;
在事件时间与所述预设时间窗的开始时间的差值不大于一个时间阈值的情况下,得到第二事件数组;
根据所述第一事件数组和所述第二事件数组中的两个所述用户ID信息建立所述数据关联关系。


6.根据权利要求5所述的方法,其特征在于,所述根据每个所述用户ID信息在所述预设时间窗中的最后一条时间出现的事件,得到第一事件数组包括:
根据时间窗大小和滑动步长,建立一个滑动时间窗,其中,所述时间窗大小根据所述用户的地理信息的数据源类型确定;
在所述滑动时间窗在所述数据流信息中按照所述滑动步长滑动的过程中,根据每个所述用户ID信息在所述滑动时间窗中的最后一条时间出现的事件,得到所述第一事件数组。


7.根据权利要求1所述的方法,其特征在于,根据所述数据关联关系的统计结果,...

【专利技术属性】
技术研发人员:陈新宇张美玲王涛张梦豪周瑞
申请(专利权)人:北京格灵深瞳信息技术有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1