【技术实现步骤摘要】
一种URL资源的缓存方法、装置及电子设备
本专利技术涉及通信
,更具体地,涉及一种URL资源的缓存方法、装置及电子设备。
技术介绍
URL(UniformResourceLocator,统一资源定位器)是Internet上信息资源的定位方法。互联网中每个内容资源都具有唯一的URL,而不同资源类型的URL都具有一定的规则,发现这些规则对于运营商的缓存运营服务而言有着重大的意义,尤其是对于视频这类的大流量业务显得尤为重要。目前现有技术实现了通过URL地址命名规则得到不同的URL地址,该技术已经相对成熟,但将多个URL地址提取正则化表达式目前还处于起步阶段。现有技术是通过先获取待分析域名,针对任意一个待分析域名,获取指定时间段内该待分析域名对应的缓存日志,从该待分析域名对应的任意一个缓存日志中获取第一类关键信息,至少根据第一类关键信息确定该缓存日志是否为可优化缓存日志。若该缓存日志确定为可优化缓存日志,则将该缓存日志中的URL域名字段信息输入到该URL的资源深度等级对应的正则表达式中,生成缓存日志的缓存规则。现有技术针对缓存日志提取URL地址正则表达式,根据URL ...
【技术保护点】
1.一种URL资源的缓存方法,其特征在于,包括:基于用户发出的HTTP请求日志,根据待处理数据类的过滤规则过滤出待处理的URL地址;利用卷积神经网络对所述待处理的URL地址进行正则化,获得URL正则;所述卷积神经网络包括输入层、卷积层、池化层和分类层,且利用L1正则化规则训练得到;根据所述URL正则,生成缓存规则,并按照所述缓存规则对所述待处理的URL地址对应的资源数据进行缓存。
【技术特征摘要】
1.一种URL资源的缓存方法,其特征在于,包括:基于用户发出的HTTP请求日志,根据待处理数据类的过滤规则过滤出待处理的URL地址;利用卷积神经网络对所述待处理的URL地址进行正则化,获得URL正则;所述卷积神经网络包括输入层、卷积层、池化层和分类层,且利用L1正则化规则训练得到;根据所述URL正则,生成缓存规则,并按照所述缓存规则对所述待处理的URL地址对应的资源数据进行缓存。2.根据权利要求1所述的方法,其特征在于,所述根据所述URL正则,生成缓存规则,并按照所述缓存规则对所述待处理的URL地址对应的资源数据进行缓存,之后还包括:监控所述缓存规则对应的缓存服务指标,根据所述缓存服务指标对所述卷积神经网络的正则化过程进行调整;所述缓存服务指标包括URL请求次数、请求成功率、请求命中率和流量增益比中的一种或多种。3.根据权利要求1所述的方法,其特征在于,所述基于用户发出的HTTP请求日志,根据待处理数据类的过滤规则过滤出待处理的URL地址,具体包括:从通信网络出口获取用户发出的HTTP请求日志;获取视频资源类的过滤规则,并根据所述视频资源类的过滤规则过滤出所述HTTP请求日志指定的视频类URL地址,作为待处理的URL地址。4.根据权利要求1所述的方法,其特征在于,所述利用卷积神经网络对所述待处理的URL地址进行正则化,获得URL正则,具体包括:将所述待处理的URL地址分为训练集和测试集,并根据缓存服务器的数目对所述训练集中的URL地址进行分类;基于分类后的训练集,按照特定字符对所述训练集中的URL地址进行拆分,获得URL常量和URL变量,并确定所述卷积神经网络各层的计算式及激活函数;基于所述URL常量、URL变量以及确定的计算式和激活函数,采用L1正则化方法对所述卷积神经网络进行训练,获得每个分类对应的URL正则,并通过所述测试集验证所述URL正则。5.根据权利要求4所述的方法,其特征在于,所述将所述待处理的URL地址分为训练集和测试集,并根据缓存服务器的数目对所述训练集中的URL地址进行分类,具体包括:将所述待处理的URL地址行归一化处理,使得归一化后的每个URL地址符合均值为0、标准差为1的标准正态分布;按照预设比例,将归一化后的URL地址随机分为训练集和测试集;根据缓存服务的数目N,将所述训练集中的URL地址分为N类,N为正整数。6...
【专利技术属性】
技术研发人员:王钰龙,单俊明,彭伟,张新超,李宗璋,赵东升,李合顺,张吉成,宋磊,向志辉,
申请(专利权)人:中国移动通信集团山东有限公司,
类型:发明
国别省市:山东,37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。