用于处理和管理WEB流量数据的系统、装置和方法制造方法及图纸

一种收集和验证web流量数据的方法、装置和系统，包括：接收表示有与数据服务交互的设备的活动的预处理日志数据；根据预定的格式验证所述预处理日志数据，所述格式包括指示预定的数据类型的字段以及指示与所述预定的数据类型相关联的预定的验证条件的字段；以及生成与已验证的预处理日志数据相关联的元数据。

Systems, devices and methods for processing and managing web traffic data

【技术实现步骤摘要】
用于处理和管理WEB流量数据的系统、装置和方法
本公开大致上涉及处理和管理web流量数据。具体而言，本公开的实施例涉及在多用户环境中近实时(near-realtime)地处理和管理数据服务的web流量数据的创新且非常规的系统。
技术介绍
数据科学被广泛地用于从客户行为中产生的大量数据中提取洞察力，以推动业务决策。例如，在电子商务(E商务)中，商家利用数据科学来分析客户的在线活动，以预测客户的行为和偏好，从而使商家能够在业务流程中制定采购、销售、库存、运输、交付和其他方面的战略。客户在线活动的主要来源之一是web流量数据，例如使用设备(例如计算机或智能手机)访问web数据服务(例如网站或移动应用程序)的个人的日志数据。在许多情况下，web流量数据可以作为字符串(例如，统一资源标识符或URI)来收集，该字符串记录表示了客户与数据服务交互的有用信息。分析师可以使用收集的web流量数据进行分析。一些现有的web流量数据收集和分析的解决方案不能适应不同格式的日志数据。对于这些解决方案，如果在不知情的情况下更改日志数据格式，可能会导致下游分析不准确本文档来自技高网...

【技术保护点】
1.一种用于收集和验证web流量数据的系统，包括：/n存储器，存储指令；以及/n至少一个处理器，其被配置为执行所述指令以：/n接收表示与数据服务交互的设备的活动的预处理日志数据；/n根据预定的格式来验证所述预处理日志数据，所述格式包括指示预定的数据类型的字段以及指示与所述预定的数据类型相关联的预定的验证条件的字段；以及/n生成与所验证的预处理日志数据相关联的元数据。/n

【技术特征摘要】
20190409 US 16/379,7611.一种用于收集和验证web流量数据的系统，包括：
存储器，存储指令；以及
至少一个处理器，其被配置为执行所述指令以：
接收表示与数据服务交互的设备的活动的预处理日志数据；
根据预定的格式来验证所述预处理日志数据，所述格式包括指示预定的数据类型的字段以及指示与所述预定的数据类型相关联的预定的验证条件的字段；以及
生成与所验证的预处理日志数据相关联的元数据。


2.根据权利要求1所述的系统，其特征在于，所述至少一个处理器还被配置为执行所述指令以：
通过解析所述日志数据并且确定所解析的日志数据是否采用预定的数据格式来预处理所述日志数据；
基于所述解析的日志数据采用所述预定的数据格式的确定，根据所述预定的格式来验证所述预处理日志数据；以及
基于所述解析的日志数据未采用所述预定的数据格式的确定，生成用于指示预处理错误的警报数据。


3.根据权利要求1所述的系统，其特征在于，所述至少一个处理器还被配置为通过执行所述指令以进行以下动作来创建所述预定的格式：
响应于接收用于创建格式的格式配置数据来创建所述格式，其中，所述格式与指示第一状态的指示符相关联；
响应于识别所述第一状态，根据测试环境中的所述格式来验证测试日志数据；
基于所述至少一个处理器验证所述测试日志数据具有错误的确定，生成用于指示格式创建错误的警报数据；
基于所述至少一个处理器验证所述测试日志数据不具有任何错误的确定，更新所述指示符以指示第二状态；以及
响应于识别所述第二状态，根据生产环境中的所述格式来验证所述预处理日志数据。


4.根据权利要求3所述的系统，其特征在于，所述至少一个处理器还被配置为通过执行所述指令以进行以下动作来根据所述格式配置数据更新所述预定的格式：
接收用于更新所述预定的格式的所述格式配置数据；
根据所接收的数据来更新所述预定的格式的字段；以及
根据所述接收的数据来更新与所述预定的格式相关联的指示符，其中，所述指示符指示所述第一状态或第二状态之一。


5.根据权利要求3所述的系统，其特征在于，所述至少一个处理器还被配置为执行所述指令以：
确定所述预处理日志数据是否具有数据部分，其中，所述数据部分具有所述预定的数据类型以及所述数据部分的内容满足所述预定的验证条件；
基于所述预处理日志数据具有所述数据部分的确定，将所述预处理日志数据确定为已验证的；以及
基于所述预处理日志数据不具有所述数据部分的确定，生成用于指示验证错误的警报数据。


6.根据权利要求3所述的系统，其特征在于，
所述第一状态包括指示新创建的格式的草稿状态、指示所创建的格式正在被审核的审核状态或指示格式无效的过时状态之一；以及
所述第二状态包括指示格式正在被使用的活动状态或指示格式有效但不被推荐的弃用状态之一。


7.根据权利要求1所述的系统，其特征在于，所述预定的格式包括强制性字段或可选性字段中的至少一个；
与所述强制性字段相关联的预定的验证条件要求所述预处理日志数据包括由所述强制性字段所指示的类型的数据部分；以及
与所述可选性字段相关联的预定的验证条件不要求所述预处理日志数据包括由所述可选性字段所指示的类型的数据部分。


8.根据权利要求1所述的系统，其特征在于，所述预定的验证条件与使用所述设备来与所述数据服务交互的个体的活动相关联。


9.根据权利要求1所述的系统，其特征在于，所述预定的数据类型包括字符串类型、整数类型、实数类型或布尔类型中的至少一个；
所述预定的验证条件包括以下中的至少一个：当所述数据部分具有所述字符串类型时所述数据部分不具有非字符值、当所述数据部分具有所述整数类型时所述数据部分不具有非整数值、当所述数据部分具有所述实数类型时所述数据部分不具有非数字值、或当所述数据部分具有所述布尔类型时所述数据部分不具有非布尔值。


10.根据权利要求1所述的系统，其特征在于，所述数据服务包括网站或移动应用服务器中的至少一个；
所述日志数据包括所述数据服务的统一资源标识符；以及
所述预定的格式包括JavaScript对象表示法(JSON)格式。


11.根据权利要求1所述的系统，其特征在于，所述元数据包括所述验证的预处理日志数据的标识符或指示生成所述元数据的时间中的至少一个。

<...

【专利技术属性】
技术研发人员：常沛强，谭岩，金重勋，安炳铉，朴泰旻，
申请(专利权)人：韩领有限公司，
类型：发明
国别省市：韩国;KR