本发明专利技术实施例提供了一种日志的采集方法、装置、计算机设备和存储介质，该方法包括：加载页面，从页面中查找对页面配置的个性采集规则，根据个性采集规则采集在访问页面时生成的数据，将数据写入日志文件中，将日志文件传输至日志服务器进行存储，访问页面的客户端被分发个性采集规则，精准控制个性采集规则分发客户端的数量，消耗的资源较少，效率较高，并且，个性采集规则在访问页面时生效，属于临时性质，避免反复替换采集规则，减少异常的发生，保证客户端的正常运行。证客户端的正常运行。证客户端的正常运行。
【技术实现步骤摘要】
一种日志的采集方法、装置、计算机设备和存储介质
[0001]本专利技术实施例涉及大数据的
，尤其涉及一种日志的采集方法、装置、计算机设备和存储介质。
技术介绍
[0002]日志文件在计算机系统中是一个广泛的概念，任何程序都有可能输出日志文件，日志的内容、规模和用途也各不相同。
[0003]毫无疑问，日志文件中包含了大量的信息，其中包含了技术人员会感兴趣的信息，例如，从日志文件中中获取网站每类页面的PV值(PageView，页面访问量)、独立IP数(即去重之后的IP数量)、客户端的负载状态、客户端出现的异常，等等，以便更新产品、更好地为用户服务。
[0004]部分技术人员会感兴趣的信息是由客户端的设备采集，信息的采集规则预先由服务端下发至客户端，客户端按照该采集规则采集信息之后将该信息记录至日志文件中，并上传服务端进行分析。
[0005]一些大型的客户端大多是模块化进行开发的，即，一个团队负责一个客户端的模块，在某个团队对某些新版本的页面进行灰度测试的场景中，采集规则经常会发生变化，新的采集规则预先分发至客户端，客户端会按照新的采集规则记录日志文件，在灰度测试完毕之后，重新将原有的采集规则分发至这些客户端，这些客户端重新将新的采集规则替换为原有的分发规则。
[0006]由于并不知晓哪些客户端会访问新版本的页面，导致采集规则分发客户端的数量较为庞大，消耗的资源较多，效率较低，并且，反复替换采集规则容易出现异常，对客户端的正常运行造成影响。
技术实现思路
[0007]本专利技术实施例提出了一种日志的采集方法、装置、计算机设备和存储介质，以解决如何提高分发日志文件的采集规则的效率、减少异常的问题。
[0008]第一方面，本专利技术实施例提供了一种日志的采集方法，应用于客户端，所述方法包括：
[0009]加载页面；
[0010]从所述页面中查找对所述页面配置的个性采集规则；
[0011]根据所述个性采集规则采集在访问所述页面时生成的数据；
[0012]将所述数据写入日志文件中；
[0013]将所述日志文件传输至日志服务器进行存储。
[0014]可选地，所述加载页面，包括：
[0015]向网页服务器发送加载请求；
[0016]接收所述网页服务器针对所述加载请求返回的、用于灰度测试的页面；
[0017]对所述页面进行解析、渲染。
[0018]可选地，所述从所述页面中查找对所述页面配置的个性采集规则，包括：
[0019]识别所述页面的版本；
[0020]若所述版本表示灰度测试，则在所述页面中读取对所述页面配置的个性采集规则。
[0021]可选地，所述在所述页面中读取对所述页面配置的个性采集规则，包括：
[0022]在所述页面中查找预设的标签；
[0023]在所述标签中读取对所述页面配置的个性采集规则。
[0024]可选地，所述在所述标签中读取对所述页面配置的个性采集规则，包括：
[0025]在所述标签中读取密文；
[0026]查询为所述客户端配置的密钥；
[0027]执行预设的对称密钥算法、使用所述密钥对所述密文解密，获得对所述页面配置的个性采集规则。
[0028]可选地，所述根据所述个性采集规则采集在访问所述页面时生成的数据，包括：
[0029]查询为所述客户端配置的共性采集规则；
[0030]将所述共性采集规则与所述个性采集规则结合为目标采集规则；
[0031]按照所述目标采集规则采集在访问所述页面时生成的数据。
[0032]可选地，所述将所述共性采集规则与所述个性采集规则结合为目标采集规则，包括：
[0033]若所述页面用于灰度测试，则删除与所述灰度测试无关的所述共性采集规则、剩余与所述灰度测试相关的所述共性采集规则；
[0034]在与所述灰度测试相关的所述共性采集规则的基础上添加所述个性采集规则，获得目标采集规则。
[0035]第二方面，本专利技术实施例还提供了一种日志的采集装置，应用于客户端，所述装置包括：
[0036]页面加载模块，用于加载页面；
[0037]采集规则查找模块，用于从所述页面中查找对所述页面配置的个性采集规则；
[0038]访问数据采集模块，用于根据所述个性采集规则采集在访问所述页面时生成的数据；
[0039]日志文件生成模块，用于将所述数据写入日志文件中；
[0040]日志文件传输模块，用于将所述日志文件传输至日志服务器进行存储。
[0041]可选地，所述页面加载模块还用于：
[0042]向网页服务器发送加载请求；
[0043]接收所述网页服务器针对所述加载请求返回的、用于灰度测试的页面；
[0044]对所述页面进行解析、渲染。
[0045]可选地，所述采集规则查找模块还用于：
[0046]识别所述页面的版本；
[0047]若所述版本表示灰度测试，则在所述页面中读取对所述页面配置的个性采集规则。
[0048]可选地，所述采集规则查找模块还用于：
[0049]在所述页面中查找预设的标签；
[0050]在所述标签中读取对所述页面配置的个性采集规则。
[0051]可选地，所述采集规则查找模块还用于：
[0052]在所述标签中读取密文；
[0053]查询为所述客户端配置的密钥；
[0054]执行预设的对称密钥算法、使用所述密钥对所述密文解密，获得对所述页面配置的个性采集规则。
[0055]可选地，所述访问数据采集模块还用于：
[0056]查询为所述客户端配置的共性采集规则；
[0057]将所述共性采集规则与所述个性采集规则结合为目标采集规则；
[0058]按照所述目标采集规则采集在访问所述页面时生成的数据。
[0059]可选地，所述访问数据采集模块还用于：
[0060]若所述页面用于灰度测试，则删除与所述灰度测试无关的所述共性采集规则、剩余与所述灰度测试相关的所述共性采集规则；
[0061]在与所述灰度测试相关的所述共性采集规则的基础上添加所述个性采集规则，获得目标采集规则。
[0062]第三方面，本专利技术实施例还提供了一种计算机设备，所述计算机设备包括：
[0063]一个或多个处理器；
[0064]存储器，用于存储一个或多个程序，
[0065]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的日志的采集方法。
[0066]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的日志的采集方法。
[0067]在本实施例中，加载页面，从页面中查找对页面配置的个性采集规则，根据个性采集规则采集在访问页面时生成的数据本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种日志的采集方法，其特征在于，应用于客户端，所述方法包括：加载页面；从所述页面中查找对所述页面配置的个性采集规则；根据所述个性采集规则采集在访问所述页面时生成的数据；将所述数据写入日志文件中；将所述日志文件传输至日志服务器进行存储。2.根据权利要求1所述的方法，其特征在于，所述加载页面，包括：向网页服务器发送加载请求；接收所述网页服务器针对所述加载请求返回的、用于灰度测试的页面；对所述页面进行解析、渲染。3.根据权利要求1所述的方法，其特征在于，所述从所述页面中查找对所述页面配置的个性采集规则，包括：识别所述页面的版本；若所述版本表示灰度测试，则在所述页面中读取对所述页面配置的个性采集规则。4.根据权利要求3所述的方法，其特征在于，所述在所述页面中读取对所述页面配置的个性采集规则，包括：在所述页面中查找预设的标签；在所述标签中读取对所述页面配置的个性采集规则。5.根据权利要求4所述的方法，其特征在于，所述在所述标签中读取对所述页面配置的个性采集规则，包括：在所述标签中读取密文；查询为所述客户端配置的密钥；执行预设的对称密钥算法、使用所述密钥对所述密文解密，获得对所述页面配置的个性采集规则。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述根据所述个性采集规则采集在访问所述页面时生成的数据，包括：查询为所述客户端配置的共性采集规则；将所述共性采集规...
【专利技术属性】
技术研发人员：刘榆厚，王炜，
申请(专利权)人：广东飞翔云计算有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。