一种动态页面的生成方法和装置及存储介质制造方法及图纸

本发明专利技术公开一种动态页面的生成方法和装置及存储介质，涉及互联网技术领域。本发明专利技术包括，根据用户端的访问请求以及对应的请求时刻筛选出异常的用户端；根据用户端的动作记录调取出异常的用户端对应的访问请求以及对应的请求时刻；根据异常的用户端对应的访问请求以及对应的请求时刻生成异常的用户端在不同时刻的虚拟显示页面；抓取异常的用户端的显示页面的特征；将异常的用户端在不同时刻的虚拟显示页面的特征与异常的用户端的显示页面的特征进行比对；若比对结果一致，则持续接收并响应用户端的访问请求；若比对结果不一致，则不再接收对应的用户端的访问请求。本发明专利技术避免服务器端的数据被用户过度读取。务器端的数据被用户过度读取。务器端的数据被用户过度读取。

【技术实现步骤摘要】
一种动态页面的生成方法和装置及存储介质


[0001]本专利技术属于互联网
，特别是涉及一种动态页面的生成方法和装置及存储介质。

技术介绍

[0002]动态网页相比较静态网页具有更好的交互性，但与此同时也具有数据被用户过度爬取的风险，传统方式依靠用户登陆验证的方式避免被用户滥用，但是用户在基于爬虫技术完成登录之后依旧能够进行数据爬取。
[0003]在公开号为CN114281464A的专利中公开了一种租户的动态登录页面生成方法及系统，涉及网页登录管理
该多租户的动态登录页面生成方法包括：基于租户信息配置域名信息和租户个性化信息，生成租户个性化数据库，所述租户信息、所述域名信息和所述租户个性化信息一一对应；获取租户发送的访问信息；通过所述访问信息获取网页地址信息；通过所述网页地址信息匹配所述租户个性化数据库中的域名信息，获取对应的所述租户个性化信息；根据所述租户个性化信息生成动态登录页面。上述方案依靠租户信息配置域名信息和租户个性化信息方式对不同租户的信息进行隔离，避免数据被过度爬取导致的数据滥用。

技术实现思路

[0004]本专利技术的目的在于提供一种动态页面的生成方法和装置及存储介质，通过对用户端的动态网页内容进行分析比对，避免服务器端的数据被用户过度读取。
[0005]为解决上述技术问题，本专利技术是通过以下技术方案实现的：本专利技术提供一种动态页面的生成方法，包括，接收用户端的访问请求以及对应的请求时刻；根据所示用户端的访问请求向数据库发送数据调用指令；接收所述数据调用指令对应数据资源；向所述用户端发送所述数据资源；收集所述用户端的特征；根据所述用户端的特征得到所述用户端的身份标识，用于对所述用户端进行身份标记；将所述用户端的身份标识、访问请求以及对应的请求时刻进行存储得到所述用户端的动作记录；根据所述用户端的访问请求以及对应的请求时刻筛选出异常的所述用户端；根据所述用户端的动作记录调取出异常的所述用户端对应的访问请求以及对应的请求时刻；根据异常的所述用户端对应的访问请求以及对应的请求时刻生成异常的所述用户端在不同时刻的虚拟显示页面；
抓取异常的所述用户端的显示页面的特征；将异常的所述用户端在不同时刻的虚拟显示页面的特征与异常的所述用户端的显示页面的特征进行比对；若比对结果一致，则持续接收并响应所述用户端的访问请求；若比对结果不一致，则不再接收对应的所述用户端的访问请求。
[0006]在本专利技术的一个实施例中，所述根据所述用户端的访问请求以及对应的请求时刻筛选出异常的所述用户端的步骤，包括，根据所述用户端的访问请求以及对应的请求时刻获取所述用户端的访问请求速率；根据所述用户端的访问请求速率以及对应的请求时刻获取所述用户端的访问请求速率关于请求时刻的拟合函数；根据所述用户端的访问请求速率关于请求时刻的拟合函数获取所述用户端的历史访问请求总量关于时间的拟合函数；根据所述用户端的历史访问请求总量关于时间的拟合函数获取所述用户端的实时历史平均请求量；获取全部所述用户端的实时历史平均请求量的数值分布比例；根据全部所述用户端的实时历史平均请求量的数值分布比例筛选出预异常的所述用户端；根据预异常的所述用户端的访问请求速率关于请求时刻的拟合函数筛选出异常的所述用户端。
[0007]在本专利技术的一个实施例中，所述根据预异常的所述用户端的访问请求速率关于请求时刻的拟合函数筛选出异常的所述用户端的步骤，包括，根据预异常的所述用户端的访问请求速率关于请求时刻的拟合函数获取预异常的所述用户端的平均访问请求速率；间隔设定的时间获取多个预异常的所述用户端的访问请求速率与预异常的所述用户端的平均访问请求速率的差值；计算预异常的所述用户端的多个访问请求速率与平均访问请求速率的差值的绝对值的累加值作为预异常的所述用户端的波动值；将波动值大于设定标准的预异常的所述用户端作为异常的所述用户端。
[0008]在本专利技术的一个实施例中，所述根据异常的所述用户端对应的访问请求以及对应的请求时刻生成异常的所述用户端在不同时刻的虚拟显示页面的步骤，包括，根据异常的所述用户端的特征获取异常的所述用户端的浏览器页面渲染环境；获取每个异常的所述用户端的波动值；根据每个异常的所述用户端的波动值得到全部异常的所述用户端的检查顺序；按照全部异常的所述用户端的检查顺序依次提取对应的访问请求以及对应的请求时刻；按照异常的所述用户端对应的访问请求以及对应的请求时刻在对应的浏览器页面渲染环境内进行复现，生成异常的所述用户端在不同时刻的虚拟显示页面。
[0009]在本专利技术的一个实施例中，所述根据每个异常的所述用户端的波动值得到全部异
常的所述用户端的检查顺序的步骤，包括，获取全部异常的所述用户端的波动值的累加值；根据每个异常的所述用户端的波动值以及全部异常的所述用户端的波动值的累加值计算得到每个异常的所述用户端的波动占比；根据每个异常的所述用户端的身份标识生成每个异常的所述用户端的编号；将异常的所述用户端的编号复制若干份存入抽取数组，其中，所述抽取数组中所述用户端的编号复制份数占整体复制份数的比例等于对应波动占比；从所述抽取数组中随机无放回抽取异常的所述用户端的编号直至完成对每个异常的所述用户端的编号的抽取；将全部异常的所述用户端的编号按照从所述抽取数组中抽取的先后顺序进行排序，得到全部异常的所述用户端的编号的抽取顺序；按照全部异常的所述用户端的编号的抽取顺序获取全部异常的所述用户端的检查顺序。
[0010]在本专利技术的一个实施例中，所述抓取异常的所述用户端的显示页面的特征的步骤，包括，持续获取异常的所述用户端的显示页面内的数据并记录对应显示页面的获取时间；在异常的所述用户端的显示页面内的数据中筛选出由所述数据库调取的数据资源，作为异常的所述用户端的显示页面内的敏感数据；获取异常的所述用户端的显示页面内敏感数据的分布位置；在所述持续获取异常的所述用户端的显示页面内的数据的时间段内，记录敏感数据的分布位置的变化状态；将异常的所述用户端的显示页面内敏感数据的分布位置的变化状态作为显示页面的特征进行抓取。
[0011]在本专利技术的一个实施例中，所述将异常的所述用户端在不同时刻的虚拟显示页面的特征与异常的所述用户端的显示页面的特征进行比对的步骤，包括，获取异常的所述用户端的显示页面的特征对应显示页面的获取时间作为比对窗口时间段；根据异常的所述用户端的显示页面的特征得到在所述比对窗口时间段内异常的所述用户端的显示页面中的所述敏感数据；获取所述比对窗口时间段内的所述虚拟显示页面；获取所述比对窗口时间段内的所述虚拟显示页面中的所述敏感数据；对所述比对窗口时间段内异常的所述用户端的显示页面中的所述敏感数据以及所述虚拟显示页面中的所述敏感数据进行一致性匹配；若不匹配，则判断比对结果不一致；若匹配，则根据异常的所述用户端的显示页面的特征得到敏感数据的分布位置的变化状态；获取所述虚拟显示页面内敏感数据在所述比对窗口时间段内的分布位置的变化状态；
对在所述比对窗口时间段内异常的所述用户端的显示页面内敏感数据的分布位置的变化状态和所述虚拟显示页面内敏感本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态页面的生成方法，包括，接收用户端的访问请求以及对应的请求时刻；根据所示用户端的访问请求向数据库发送数据调用指令；接收所述数据调用指令对应数据资源；向所述用户端发送所述数据资源；其特征在于，收集所述用户端的特征；根据所述用户端的特征得到所述用户端的身份标识，用于对所述用户端进行身份标记；将所述用户端的身份标识、访问请求以及对应的请求时刻进行存储得到所述用户端的动作记录；根据所述用户端的访问请求以及对应的请求时刻筛选出异常的所述用户端；根据所述用户端的动作记录调取出异常的所述用户端对应的访问请求以及对应的请求时刻；根据异常的所述用户端对应的访问请求以及对应的请求时刻生成异常的所述用户端在不同时刻的虚拟显示页面；抓取异常的所述用户端的显示页面的特征；将异常的所述用户端在不同时刻的虚拟显示页面的特征与异常的所述用户端的显示页面的特征进行比对；若比对结果一致，则持续接收并响应所述用户端的访问请求；若比对结果不一致，则不再接收对应的所述用户端的访问请求。2.根据权利要求1所述的方法，其特征在于，所述根据所述用户端的访问请求以及对应的请求时刻筛选出异常的所述用户端的步骤，包括，根据所述用户端的访问请求以及对应的请求时刻获取所述用户端的访问请求速率；根据所述用户端的访问请求速率以及对应的请求时刻获取所述用户端的访问请求速率关于请求时刻的拟合函数；根据所述用户端的访问请求速率关于请求时刻的拟合函数获取所述用户端的历史访问请求总量关于时间的拟合函数；根据所述用户端的历史访问请求总量关于时间的拟合函数获取所述用户端的实时历史平均请求量；获取全部所述用户端的实时历史平均请求量的数值分布比例；根据全部所述用户端的实时历史平均请求量的数值分布比例筛选出预异常的所述用户端；根据预异常的所述用户端的访问请求速率关于请求时刻的拟合函数筛选出异常的所述用户端。3.根据权利要求2所述的方法，其特征在于，所述根据预异常的所述用户端的访问请求速率关于请求时刻的拟合函数筛选出异常的所述用户端的步骤，包括，根据预异常的所述用户端的访问请求速率关于请求时刻的拟合函数获取预异常的所述用户端的平均访问请求速率；间隔设定的时间获取多个预异常的所述用户端的访问请求速率与预异常的所述用户
端的平均访问请求速率的差值；计算预异常的所述用户端的多个访问请求速率与平均访问请求速率的差值的绝对值的累加值作为预异常的所述用户端的波动值；将波动值大于设定标准的预异常的所述用户端作为异常的所述用户端。4.根据权利要求3所述的方法，其特征在于，所述根据异常的所述用户端对应的访问请求以及对应的请求时刻生成异常的所述用户端在不同时刻的虚拟显示页面的步骤，包括，根据异常的所述用户端的特征获取异常的所述用户端的浏览器页面渲染环境；获取每个异常的所述用户端的波动值；根据每个异常的所述用户端的波动值得到全部异常的所述用户端的检查顺序；按照全部异常的所述用户端的检查顺序依次提取对应的访问请求以及对应的请求时刻；按照异常的所述用户端对应的访问请求以及对应的请求时刻在对应的浏览器页面渲染环境内进行复现，生成异常的所述用户端在不同时刻的虚拟显示页面。5.根据权利要求4所述的方法，其特征在于，所述根据每个异常的所述用户端的波动值得到全部异常的所述用户端的检查顺序的步骤，包括，获取全部异常的所述用户端的波动值的累加值；根据每个异常的所述用户端的波动值以及全部异常的所述用户端的波动值的累加值计算得到每个异常的所述用户端的波动占比；根据每个异常的所述用户端的身份标识生成每个异常的所述用户端的编号；将异常的所述用户端的编号复制若干份存入抽取数组，其中，所述抽取数组中所述用户端的编号复制份数占整体复制份数的比例等于对应波动占比；从所述抽取数组中随机无放回抽取异常的所述用户端的编号直至完成对每个异常的所述用户端的编号的抽取；将全部异常的所述用户端的编号按照从所述抽取数组中抽取的先后顺序进行排序，得到全部异常的所述用户端的编号的抽取顺序；按照全部异常的所述用户端的编号的抽取顺序获取全部异常的所述用户端的检查顺序。6.根据权利要求1所述的方法，其特征在于，所述抓取异常的所述用户端的显示页面的特征的...

【专利技术属性】
技术研发人员：闫荣新，闫格，
申请(专利权)人：河北网新数字技术股份有限公司，
类型：发明
国别省市：