【技术实现步骤摘要】
物品信息存储方法、装置、电子设备和计算机可读介质
本公开的实施例涉及计算机
,具体涉及物品信息存储方法、装置、电子设备和计算机可读介质。
技术介绍
随着计算机技术的飞速发展,能实现各种业务流程的业务系统也日益增多。业务流程通常会涉及到多个环节,各个环节通常会产生大量的数据。现有技术通常会对部分环节产生的数据进行数字化转换,以便于用户进行运营分析。然而,采用上述数据处理的方式,会存在以下技术问题:第一,数据报表体系功能单一,导致数据定位困难和查找数据的效率低,不能灵活地在数据库中获取运营数据,造成获取运营数据的时长较长,进而造成获取运营数据的成本较高;第二,未对所离线抽取数据进行加密存储,容易导致离线抽取数据泄露和丢失,导致离线抽取数据难以被多次调用,导致数据定位困难和查找数据的效率低,不能灵活地在数据库中获取运营数据,进一步造成获取运营数据的时长较长。
技术实现思路
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要 ...
【技术保护点】
1.一种物品信息存储方法,包括:/n对第一业务系统和第二业务系统分别进行埋点处理以生成第一业务数据日志集和第二业务数据日志集;/n将所述第一业务数据日志集中的各个第一业务数据日志存储到数据处理平台;/n基于日志收集系统,将所述第二业务数据日志集中的各个第二业务数据日志存储到所述数据处理平台。/n
【技术特征摘要】
1.一种物品信息存储方法,包括:
对第一业务系统和第二业务系统分别进行埋点处理以生成第一业务数据日志集和第二业务数据日志集;
将所述第一业务数据日志集中的各个第一业务数据日志存储到数据处理平台;
基于日志收集系统,将所述第二业务数据日志集中的各个第二业务数据日志存储到所述数据处理平台。
2.根据权利要求1所述的方法,其中,所述对第一业务系统和第二业务系统分别进行埋点处理以生成第一业务数据日志集和第二业务数据日志集,包括:
获取目标需求文本;
基于所述目标需求文本,确定业务数据日志的类别;
基于所确定的类别,分别在所述第一业务系统和所述第二业务系统中存储所述类别的数据表中添加节点;
基于所添加的节点,分别从所述第一业务系统和所述第二业务系统中得到第一业务数据日志集合和第二业务数据日志集合。
3.根据权利要求1所述的方法,其中,所述方法还包括:
对所述数据处理平台中所存储的业务数据日志进行分类处理以生成离线业务数据日志集和实时业务数据日志集;
对所述离线业务数据日志集中的每个离线业务数据日志进行离线抽取处理以生成离线抽取后的离线业务数据日志作为离线抽取数据,得到离线抽取数据集;
对所述实时业务数据日志集中的每个实时业务数据日志进行实时抽取处理以生成实时抽取后的实时业务数据日志作为实时抽取数据,得到实时抽取数据集;
将所述离线抽取数据集和所述实时抽取数据集分别存储到离线集群系统和实时集群系统中。
4.根据权利要求3所述的方法,其中,所述方法还包括:
从所述离线集群系统中所存储的离线抽取数据集和所述实时集群系统中所存储的实时抽取数据集中选择符合第一预设条件的离线抽取数据和实时抽取数据作为校检数据,得到校检数据集;
对所述校检数据集进行结构化抽取,生成至少一个原始数据表;
基于数据仓库,将所述至少一个原始数据表进行整合处理以生成逻辑数据表;
基于所述逻辑数据表,生成明细数据表;
对所述明细数据表进...
【专利技术属性】
技术研发人员:陈华良,
申请(专利权)人:北京每日优鲜电子商务有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。