本发明专利技术属于通讯领域，公开了一种链接去重方法、装置、设备及存储介质。该方法包括：获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；根据匹配结果判断是否对所述格式化链接进行去重操作。由于本发明专利技术是将格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；根据匹配结果判断是否对格式化链接进行去重操作。相对于现有的接收到下载链接直接进行资源下载的方式，本发明专利技术上述方式能够对下载链接进行去重操作，减少资源的重复下载，保证下载资源的质量。证下载资源的质量。证下载资源的质量。
【技术实现步骤摘要】
链接去重方法、装置、设备及存储介质
[0001]本专利技术涉及通讯
，尤其涉及一种链接去重方法、装置、设备及存储介质。
技术介绍
[0002]日常生活中下载一个应用程序往往都是通过一个URI链接资源进行文件下载，随着互联网技术的发展，这种链接文件不再是一个固定的地址，90％以上都是每时每刻不断变化的，那么通过这种海量URI资源进行资源下载时通常会导致以下问题：在大量需要下载应用链接的时候，文件往往超大，如果每个下载链都进行一次处理，将带来海量的无效资源。
[0003]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
[0004]本专利技术的主要目的在于提供了一种链接去重方法、装置、设备及存储介质，旨在解决现有技术根据下载链接直接进行资源下载导致资源重复下载，资源冗余的技术问题。
[0005]为实现上述目的，本专利技术提供了一种链接去重方法，所述方法包括以下步骤：
[0006]获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；
[0007]将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；
[0008]根据匹配结果判断是否对所述格式化链接进行去重操作。
[0009]可选地，所述将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果的步骤之前，还包括：
[0010]从链接历史库中获取待处理链接；
[0011]对所述待处理链接进行无效参数识别，获得无效参数识别结果；
[0012]在所述无效参数识别结果中包含待验证参数时，根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果；
[0013]根据所述动态参数识别结果和所述待处理链接生成预设链接模式库。
[0014]可选地，所述根据所述动态参数识别结果和所述待处理链接生成预设链接模式库的步骤，包括：
[0015]根据所述动态参数识别结果确定所述待处理链接的有效参数；
[0016]根据所述有效参数和所述待处理链接生成目标链接；
[0017]根据所述目标链接构建预设链接模式库。
[0018]可选地，所述对所述待处理链接进行无效参数识别，获得无效参数识别结果的步骤，包括：
[0019]获取所述待处理链接对应的链接资源文件；
[0020]对每一个所述待处理链接按照每次删除一个参数的方式进行参数删除，获得待验
证链接；
[0021]在每次参数删除后，获取对应的所述待验证链接的待验证链接资源文件；
[0022]对比所述链接资源文件和所述待验证链接资源文件，获得对比结果；
[0023]根据所述对比结果生成无效参数识别结果。
[0024]可选地，所述根据所述对比结果生成无效参数识别结果的步骤，包括：
[0025]若所述对比结果为对比一致，则判定当前删除的参数为无效参数；
[0026]若所述对比结果为对比不一致，则判定当前删除的参数为待验证参数。
[0027]可选地，所述对比所述链接资源文件和所述待验证链接资源文件，获得对比结果的步骤，包括：
[0028]通过预设算法确定所述链接资源文件对应的目标散列值；
[0029]通过所述预设算法确定所述待验证链接资源文件对应的验证散列值；
[0030]对比所述目标散列值和所述验证散列值，获得对比结果。
[0031]可选地，所述根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果的步骤，包括：
[0032]根据所述无效参数识别结果确定所述待处理链接中的待验证参数；
[0033]对所述待验证参数进行格式验证，获得格式验证结果；
[0034]根据所述格式验证结果确定所述待处理链接对应的动态参数识别结果。
[0035]可选地，所述对所述待验证参数进行格式验证，获得格式验证结果的步骤，包括：
[0036]获取预设动态参数格式；
[0037]确定所述待验证参数对应的参数格式；
[0038]判断所述参数格式是否属于所述预设动态参数格式，获得格式验证结果。
[0039]可选地，所述获取待下载链接，对所述待下载链接进行格式化，获得格式化链接的步骤，包括：
[0040]获取待下载链接，对所述待下载链接进行无效字符删除，获得有效待下载链接；
[0041]根据ASCII码表对所述有效待下载链接中的参数进行顺序调整，获得调整后的待下载链接；
[0042]将所述调整后的待下载链接转换为预设格式，获得格式化后的待下载链接。
[0043]可选地，所述根据所述动态参数识别结果和所述待处理链接生成预设链接模式库的步骤之后，还包括：
[0044]获取所述预设链接模式库中的链接模板；
[0045]对所述链接模板进行相似度检测，获得相似度检测结果；
[0046]根据所述相似度检测结果对所述链接模板进行分类，获得分类结果；
[0047]根据所述分类结果对所述预设链接模式库进行优化。
[0048]可选地，所述根据所述分类结果对所述预设链接模式库进行优化的步骤，包括：
[0049]根据所述分类结果确定各类型模式中的链接数量；
[0050]判断所述链接数量是否大于预设阈值；
[0051]若大于，则根据所述分类结果对所述预设链接模式库进行链接合并。
[0052]可选地，所述根据匹配结果判断是否对所述格式化链接进行去重操作的步骤，包括：
[0053]若所述匹配结果为匹配失败，则将所述格式化链接添加至预设链接模式库。
[0054]可选地，所述根据匹配结果判断是否对所述格式化链接进行去重操作的步骤，包括：
[0055]若所述匹配结果为匹配成功，则对所述格式化链接进行去重操作。
[0056]此外，为实现上述目的，本专利技术还提供一种链接去重装置，所述装置包括：
[0057]获取模块，用于获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；
[0058]匹配模块，用于将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；
[0059]去重模块，用于根据匹配结果判断是否对所述格式化链接进行去重操作。
[0060]可选地，所述获取模块，还用于从链接历史库中获取待处理链接；对所述待处理链接进行无效参数识别，获得无效参数识别结果；在所述无效参数识别结果中包含待验证参数时，根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果；根据所述动态参数识别结果和所述待处理链接生成预设链接模式库。
[0061]可选地，所述获取模块，还用于根据所述动态参数识别结果确定所述待处理链接的有效参数；根据所述有效参数和所述待处理链接生成目标链接；根据所述目标链接构建预设链接模式库。
[0062]可选地，所述获取模块，还本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种链接去重方法，其特征在于，所述链接去重方法包括以下步骤：获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；根据匹配结果判断是否对所述格式化链接进行去重操作。2.如权利要求1所述的链接去重方法，其特征在于，所述将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果的步骤之前，还包括：从链接历史库中获取待处理链接；对所述待处理链接进行无效参数识别，获得无效参数识别结果；在所述无效参数识别结果中包含待验证参数时，根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果；根据所述动态参数识别结果和所述待处理链接生成预设链接模式库。3.如权利要求2所述的链接去重方法，其特征在于，所述根据所述动态参数识别结果和所述待处理链接生成预设链接模式库的步骤，包括：根据所述动态参数识别结果确定所述待处理链接的有效参数；根据所述有效参数和所述待处理链接生成目标链接；根据所述目标链接构建预设链接模式库。4.如权利要求2所述的链接去重方法，其特征在于，所述对所述待处理链接进行无效参数识别，获得无效参数识别结果的步骤，包括：获取所述待处理链接对应的链接资源文件；对每一个所述待处理链接按照每次删除一个参数的方式进行参数删除，获得待验证链接；在每次参数删除后，获取对应的所述待验证链接的待验证链接资源文件；对比所述链接资源文件和所述待验证链接资源文件，获得对比结果；根据所述对比结果生成无效参数识别结果。5.如权利要求4所述的链接去重方法，其特征在于，所述根据所述对比结果生成无效参...
【专利技术属性】
技术研发人员：薛晨，任彦，窦禹，易立，王一宇，郑礼雄，杨昕雨，张博文，李晓雪，郭梅，赵阳，尹露，王聪，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。