二进制结构化日志的生成方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了二进制结构化日志的生成方法、装置、设备和存储介质，该方法包括：获取与用户行为匹配的应用请求，所述应用请求包括：键值对形式的行为数据；根据与所述应用请求匹配的标准结构体模型，对所述应用请求中的所述键值对形式的行为数据进行处理，得到与所述应用请求匹配的结构化日志；将所述结构化日志处理为二进制结构化日志，并写入至文件。本发明专利技术实施例的技术方案，利用标准结构体模型处理应用请求中的行为数据，进而生成结构化日志，未产生任何中间文件，节省了存储资源，也避免了复杂的日志解析过程，同时，通过序列化操作获取到二进制结构化日志，极大地减少了日志体积，便于日志的传输，降低了数据传输过程中的资源消耗。

【技术实现步骤摘要】
二进制结构化日志的生成方法、装置、设备及存储介质
本专利技术实施例涉及互联网领域，尤其涉及二进制结构化日志的生成方法、装置、设备及存储介质。
技术介绍
随着互联网技术的不断发展，互联网的应用人群及业务类型都在不断增长，各种业务的运行使得互联网每天产生大量的日志，而这些日志是互联网大数据分析的重要组成部分，因此，具有极高的挖掘及分析价值。处理这些数量庞大的日志，首先需要进行日志解析，即抽取有意义的字段，把非结构化的数据转变为结构化的数据。通常是将所有日志打印成文本文件，然后通过编写日志分析程序对文本文件进行解析。然而，不同格式的日志需要编写不同类型的日志解析程序，日志格式的变更需要下游的解析程序也随之变化，因此解析成本较大，同时解析过程复杂，容易出错；另外，由于日志数据量过大，在存储和传输过程中，需要消耗大量资源，因此，存储和传输成本极高。
技术实现思路
本专利技术实施例提供了二进制结构化日志的生成方法、装置、计算机设备及存储介质。以实现根据用户应用请求直接生成结构化日志，避免了复杂的日志解析过程，节省了日志数本文档来自技高网...

【技术保护点】
1.一种二进制结构化日志的生成方法，其特征在于，包括：/n获取与用户行为匹配的应用请求，所述应用请求包括：键值对形式的行为数据；/n根据与所述应用请求匹配的标准结构体模型，对所述应用请求中的所述键值对形式的行为数据进行处理，得到与所述应用请求匹配的结构化日志；其中，所述标准结构体模型包括：至少一个标准字段名，以及与所述标准字段名匹配的待填充区域；/n将所述结构化日志处理为二进制结构化日志，并写入至文件，生成二进制结构化文件。/n

【技术特征摘要】
1.一种二进制结构化日志的生成方法，其特征在于，包括：
获取与用户行为匹配的应用请求，所述应用请求包括：键值对形式的行为数据；
根据与所述应用请求匹配的标准结构体模型，对所述应用请求中的所述键值对形式的行为数据进行处理，得到与所述应用请求匹配的结构化日志；其中，所述标准结构体模型包括：至少一个标准字段名，以及与所述标准字段名匹配的待填充区域；
将所述结构化日志处理为二进制结构化日志，并写入至文件，生成二进制结构化文件。


2.根据权利要求1所述的方法，其特征在于，所述根据与所述应用请求匹配的标准结构体模型，对所述应用请求中的所述键值对形式的行为数据进行处理，得到与所述应用请求匹配的结构化日志，包括：
在所述标准结构体模型中依次获取一个标准字段名作为目标字段名；
如果所述行为数据中存在与所述目标字段名匹配的目标键名，则将与所述目标键名对应的键值填充于所述标准结构体模型中与所述目标字段名对应的待填充区域内；
返回执行在所述标准结构体模型中依次获取一个标准字段名作为目标字段名的操作，直至完成对所述标准结构体模型中全部标准字段名的处理。


3.根据权利要求2所述的方法，其特征在于，在所述标准结构体模型中依次获取一个标准字段名作为目标字段名之后，还包括：
如果所述行为数据中不存在与所述目标字段名匹配的目标字段值，则放弃对标准结构体模型中与所述目标字段名对应的待填充区域进行填充处理。


4.根据权利要求2所述的方法，其特征在于，所述将与所述目标键名对应的键值填充于所述标准结构体模型中与所述目标字段名对应的待填充区域内，包括：
采用set函数，将与所述目标键名对应的键值填充于所述标准结构体模型中与所述目标字段名对应的待填充区域内。


5.根据权利要求1所述的方法，其特征在于，将所述结构化日志处理为二进制结构化日志，包括：
利用序列化处理工具，将所述结构化日志处理为二进制结构化日志。


6.根据权利要求1所述的方法，其特征在于，在将所述结构化日志处理为二进制结构化日志，并写入至文件，生成二进制结构化文件之后，包括：

【专利技术属性】
技术研发人员：仲毅，刘锋，柳洋，范小刚，陈相林，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11