【技术实现步骤摘要】
自动分表数据存取方法、装置、电子设备及存储介质
本专利技术涉及智能存储领域，涉及一种数据存取的方法，尤其涉及一种自动分表数据存取方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着办公信息化、线上化的升级，应用系统产生信息数据的能力也越来越强，千万量级甚至亿量级的数据对存储方案的要求越来越高，如果不能合理的对数据进行存放将大大降低查看数据的效率，则影响办公体验。在现有技术中，一种通过预估未来的业务量来判断当前是否需要分表，然后对对应的表进行分表处理，而此种情况下对未来业务量进行预估的准确度往往差强人意，影响市场拓展速度、业务方向等，并且有时提前预估业务量较多而实际业务量不足导致浪费资源，反之提前预估业务量较多而实际业务量超标，由于业务量的暴涨导致系统措手不及引起系统崩溃或卡机；另一种通过将分表逻辑在各个业务逻辑代码中实现以完成动态分表，但该种方式如果更改了表结构，相应的实现逻辑也要同步调整，耦合性较高，不利于维护。因此，亟需一种适应性强、迁移简单、动态可控、能够便于数据管理、降低维护成本的自动分表数据存
【技术保护点】
1.一种自动分表数据存取方法，其特征在于，包括：/n将所采集的用户请求汇入过滤器，以使所述过滤器对所述用户请求进行访问量分析处理，判断所述用户请求为过值数据还是内值数据；/n若所述用户请求为内值数据，则对所述内值数据进行单表存储；若所述用户请求为过值数据，则对所述过值数据进行数据索引形成索引信息；/n根据所述索引信息判断预设数据库中是否存在与所述用户请求相对应的用户操作表；/n若存在所述用户操作表则按照所述用户操作表对所述过值数据进行数据存取，若所述用户操作表不存在，则调用封装在数据库中的数据程序创建新操作表进行数据存取。/n
【技术特征摘要】
1.一种自动分表数据存取方法，其特征在于，包括：
将所采集的用户请求汇入过滤器，以使所述过滤器对所述用户请求进行访问量分析处理，判断所述用户请求为过值数据还是内值数据；
若所述用户请求为内值数据，则对所述内值数据进行单表存储；若所述用户请求为过值数据，则对所述过值数据进行数据索引形成索引信息；
根据所述索引信息判断预设数据库中是否存在与所述用户请求相对应的用户操作表；
若存在所述用户操作表则按照所述用户操作表对所述过值数据进行数据存取，若所述用户操作表不存在，则调用封装在数据库中的数据程序创建新操作表进行数据存取。
2.如权利要求1所述的自动分表数据存取方法，其特征在于，在将所采集的用户请求汇入过滤器之前，还包括采集用户数据的步骤，其中，
于前端至少采集用户的点击、选择项目、进入请求的时间段信息，并通过网络传输记录埋点信息以作为用户业务信息，于后端采集用户的数据服务，并将所述用户业务信息及所述数据服务打包为用户请求数据包。
3.如权利要求2所述的自动分表数据存取方法，其特征在于，在将所采集的用户请求汇入过滤器，以使所述过滤器对所述用户请求进行访问量分析处理，判断所述用户请求为过值数据还是内值数据的过程中，包括：
在服务器与用户之间建立过滤层，并为所述过滤层设置阈值参数形成过滤器，通过所述过滤器按照预设时间定期间隔接收并过滤所述用户请求数据包，并对所述用户业务信息进行实时监控；
分析过滤后的用户请求数据包以获取所述用户的存储目标，并根据实时监控的内容记录所述用户的访问频率、累计访问量获取用户的存储比较值，并以业务请求的种类为单位将所述访问频率、累计访问量作为数据值存储至应用程序接口中；
若所述存储比较值大于所述阈值参数则将所述存储目标作为过值数据，若所述存储比较值小于所述阈值参数则将所述存储目标作为内值数据。
4.如权利要求3所述的自动分表数据存取方法，其特征在于，为所述过滤层设置阈值参数的过程中，包括：
首次过滤以原始参数作为阈值参数；
除首次过滤外的过滤器根据上一次记录的用户的访问频率、累计访问量设置阈值参数；其中，用户的访问频率、累计访问量越高，则所述阈值参数越低。
5.如权利要求3所述的自动分表数据存取方法，其特征在于，对所述过值数据进行数据索引形成索引信息的过程包括：
建立用户ID集合与所述应用程序接口的连接；
根据所述过值数据在所述用户ID集合中的用户ID查询所述应用程序接口中存储的关于所述用户ID的数据值；
解析所述数据值形成与所述用户ID相对应的索引信息，并关闭所述应用程序接口的...
【专利技术属性】
技术研发人员：余磊，刘浩，王波，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。