一种高并发数据存储方法和系统技术方案

本发明专利技术涉及数据处理领域，涉及一种高并发数据存储方法和系统。一种高并发数据存储系统包括：访问请求监测模块、业务分析模块、请求分流模块、数据处理模块、访问请求分类模块、业务分析消息队列存储模块和待处理消息队列存储模块。本发明专利技术通过设置访问请求最大阈值来检测高并发的访问请求数据，并且将并发的访问请求数据进行分类，将重要程度较高并且需要马上处理的立即处理请求送入数据处理服务器进行存储并且优先处理，将重要程度低且不需要马上进行回应的延时处理请求延后处理，减少高并发时服务器的压力，降低了处理的混乱程度，实现了有序高效的处理。有序高效的处理。有序高效的处理。

【技术实现步骤摘要】
一种高并发数据存储方法和系统


[0001]本专利技术涉及数据处理领域，更具体的说，它涉及一种高并发数据存储方法和系统。

技术介绍

[0002]随着互联网信息的蓬勃快速的发展，在更快捷更高效的网络环境影响下，人们已经离不开互联网，并且在互联网普及的今天，越来越多互联网服务的服务器正在遭遇着高并发、大量数据的环境，会产生高并发所带来的数据解析存储问题。网站在接收到用户发出的请求时，会对这些请求进行处理，当网站在较短时间内接收到大量的请求时，说明网站出现了高并发的情况，请求的数量超过网站的处理量，网站会出现停止处理、处理混乱、处理速度减慢等问题，从而对发出请求的用户造成不必要的影响。

技术实现思路

[0003]本专利技术提供一种高并发数据存储方法和系统，通过设置访问请求最大阈值来检测高并发的访问请求数据，并且将并发的访问请求数据进行分类，将重要程度较高并且需要马上处理的立即处理请求送入数据处理服务器进行存储并且优先处理，将重要程度低且不需要马上进行回应的延时处理请求延后处理，减少高并发时服务器的压力，降低了处理的混乱程度，实现了有序高效的处理。
[0004]一种高并发数据存储方法，包括如下步骤：S1：持续监测获取的访问请求，并计算固定时间段内访问请求的数量，将固定时间段内访问请求的数量与访问请求最大阈值进行大小比较，若是固定时间段内访问请求的数量大于访问请求最大阈值，进入S2；若是固定时间段内访问请求的数量不大于访问请求最大阈值，将访问请求通过业务分析层和负载均衡服务器输入至对应的数据处理服务器中的本地消息队列进行存储；S2：将访问请求逐个输入到深度学习分类器V1中，将访问请求分类成立即处理请求和延时处理请求，将立即处理请求添加至业务分析消息队列，进入S3；将延时处理请求添加至待处理消息队列，进入S4；S3：将业务分析消息队列中的立即处理请求通过业务分析层和负载均衡服务器输入至对应的数据处理服务器中的本地消息队列进行存储，期间根据输入至本地消息队列的立即处理请求数量对本地消息队列空间大小进行调整；S4：持续监测获取的访问请求，并依次按固定时间段计算访问请求的数量，当固定时间段内访问请求的数量不大于访问请求最大阈值时，从待处理消息队列中逐个提取延时处理请求随机插入至此固定时间段内获取的访问请求中，再将访问请求通过业务分析层和负载均衡服务器输入至对应的数据处理服务器中的本地消息队列进行存储；否则无操作。
[0005]作为优选的一个方面，所述步骤S3中，对本地消息队列空间大小进行调整的具体
步骤包括：T1：获取本地消息队列内部立即处理请求的数量；T2：判断
“”
是否成立，其中为剩余空间阈值，为本地消息队列初始空间大小，若是
“”
成立，进入T3；若是
“”
不成立，进入T4；T3：将对应的本地消息队列的空间大小由扩充至，为扩充空间大小，进入T4；T4：间隔预设时间获取本地消息队列内部立即处理请求的数量，回到T2。
[0006]作为优选的一个方面，还包括对输入至本地消息队列的立即处理请求进行重新排序，具体步骤如下：H1：获取业务分析消息队列Q1，并获取业务分析消息队列Q1中的立即处理请求，记为；H2：遍历处理复杂程度过滤层内部存储的立即处理请求，计算立即处理请求与复杂程度过滤层内部存储的所有立即处理请求的相似度，，其中为复杂程度过滤层内部存储的所有立即处理请求个数；H3：遍历所有相似度，判断是否有
“”
成立的情况，其中为相似度阈值，若是有
“”
成立的情况，进入H4；若是无
“”
成立的情况，进入H5；H4：将立即处理请求存入滞后处理队列，并将立即处理请求从业务分析消息队列Q1中删除，进入H5；H5：判断业务分析消息队列Q1中的立即处理请求是否被全部选取，若是业务分析消息队列Q1中的立即处理请求未被全部选取，获取业务分析消息队列Q1中的下一个立即处理请求，记为，回到H2；若是业务分析消息队列Q1中的立即处理请求被全部选取，进入H6；H6：将滞后处理队列中的立即处理请求均匀插入至业务分析消息队列Q1，再将获得的业务分析消息队列中的立即处理请求通过业务分析层和负载均衡服务器输入至对应的数据处理服务器中的本地消息队列进行存储。
[0007]作为优选的一个方面，所述步骤H2中的处理复杂程度过滤层的生成包括如下步骤：M1：当数据处理服务器处理立即处理请求时，获取对立即处理请求处理的处理时间；M2：判断
“”
是否成立，其中为处理时间阈值，若是
“”
不成立，进入M3；若是
“”
成立，进入M4；M3：复制对应的立即处理请求添加至处理复杂程度过滤层中，处理复杂程度过滤层初始为空，进入M4；
M4：获取下一个立即处理请求处理的处理时间，回到M2。
[0008]一种高并发数据存储系统，包括：访问请求监测模块，用于监测获取的访问请求，并判断固定时间段内访问请求的数量与访问请求最大阈值之间的大小关系；业务分析模块，用于存储深度学习分类器V2，对访问请求进行分析和分类；请求分流模块，用于存储负载均衡服务器，根据业务分析模块的结果将访问请求进行分流；数据处理模块，用于存储数据处理服务器，处理对应访问请求，数据处理服务器内置本地消息队列，本地消息队列用于存储访问请求；访问请求分类模块，用于存储深度学习分类器V1，将访问请求分成立即处理请求和延时处理请求；业务分析消息队列存储模块，用于存储立即处理请求；待处理消息队列存储模块，用于存储延时处理请求。
[0009]作为优选的一个方面，还包括：立即处理请求数量获取模块，用于获取本地消息队列内部立即处理请求的数量；立即处理请求数量判断模块，用于判断输入数据处理服务器的立即处理请求数量是否接近该数据处理服务器内部本地消息队列初始空间大小；本地消息队列空间扩充模块，用于扩充本地消息队列空间大小。
[0010]作为优选的一个方面，还包括：处理复杂程度过滤层管理模块，用于生成和存储处理复杂程度过滤层；立即处理请求重排序模块，用于对对输入至本地消息队列的立即处理请求进行重新排序。
[0011]本专利技术具有以下优点：1、本专利技术通过设置访问请求最大阈值来检测高并发的访问请求数据，并且将并发的访问请求数据进行分类，将重要程度较高并且需要马上处理的立即处理请求送入数据处理服务器进行存储并且优先处理，将重要程度低且不需要马上进行回应的延时处理请求延后处理，减少高并发时服务器的压力，降低了处理的混乱程度，实现了有序高效的处理。
[0012]2、本专利技术通过对输入数据处理服务器的立即处理请求数量进行监测，若是输入数据处理服务器的立即处理请求数量接近该数据处理服务器内部本地消息队列初始空间大小，将对应的本地消息队列的空间进行扩充，避免多余的立即处理请求可能会由于未定义的存储位置导致丢失。
[0013]3、本专利技术通过监测立即处理请求的处理时间，将处理时间过长的立即处理请求提取出来，并以此筛选出类似的处理时间过长的立即处理请求，并将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高并发数据存储方法，其特征在于，包括如下步骤：S1：持续监测获取的访问请求，并计算固定时间段内访问请求的数量，将固定时间段内访问请求的数量与访问请求最大阈值进行大小比较，若是固定时间段内访问请求的数量大于访问请求最大阈值，进入S2；若是固定时间段内访问请求的数量不大于访问请求最大阈值，将访问请求通过业务分析层和负载均衡服务器输入至对应的数据处理服务器中的本地消息队列进行存储；S2：将访问请求逐个输入到深度学习分类器V1中，将访问请求分类成立即处理请求和延时处理请求，将立即处理请求添加至业务分析消息队列 ，进入S3；将延时处理请求添加至待处理消息队列，进入S4；S3：将业务分析消息队列中的立即处理请求通过业务分析层和负载均衡服务器输入至对应的数据处理服务器中的本地消息队列进行存储，期间根据输入至本地消息队列的立即处理请求数量对本地消息队列空间大小进行调整；S4：持续监测获取的访问请求，并依次按固定时间段计算访问请求的数量，当固定时间段内访问请求的数量不大于访问请求最大阈值时，从待处理消息队列中逐个提取延时处理请求随机插入至此固定时间段内获取的访问请求中，再将访问请求通过业务分析层和负载均衡服务器输入至对应的数据处理服务器中的本地消息队列进行存储；否则无操作。2.根据权利要求1所述的一种高并发数据存储方法，其特征在于，所述步骤S3中，对本地消息队列空间大小进行调整的具体步骤包括：T1：获取本地消息队列内部立即处理请求的数量；T2：判断
“”
是否成立，其中为剩余空间阈值，为本地消息队列初始空间大小，若是
“”
成立，进入T3；若是
“”
不成立，进入T4；T3：将对应的本地消息队列的空间大小由扩充至，为扩充空间大小，进入T4；T4：间隔预设时间获取本地消息队列内部立即处理请求的数量，回到T2。3.根据权利要求2所述的一种高并发数据存储方法，其特征在于，还包括对输入至本地消息队列的立即处理请求进行重新排序，具体步骤如下：H1：获取业务分析消息队列Q1，并获取业务分析消息队列Q1中的立即处理请求，记为；H2：遍历处理复杂程度过滤层内部存储的立即处理请求，计算立即处理请求与复杂程度过滤层内部存储的所有立即处理请求的相似度，，其中为复杂程度过滤层内部存储的所有立即处理请求个数；H3：遍历所有相似度，判断是否有
“”
成立的情况，其中为相似度阈值，若是有
“”
成立的情况，进入H4；若是无
“”
成立的情况，进入H5；H4...

【专利技术属性】
技术研发人员：张冬冬，陈承强，梁圆，金铮，
申请(专利权)人：杭州西软计算机工程有限公司，
类型：发明
国别省市：