【技术实现步骤摘要】
本申请涉及数据库技术和数据可视化领域，更具体地，涉及一种静态数据查询方法和系统。
技术介绍
1、静态数据是指在运行过程中主要作为控制或参考使用的静态数据集，这些数据一般不会随运行而变，即在很长一段时间内存不会发生变化，其主要特点是数据量大、有界、持久存储，静态数据一般应用于历史账单查询、消费记录查询、经济增长趋势分析预测、用户画像、精准营销等领域。
2、现有技术中对静态数据进行处理主要分为基于传统数据库的处理方式和基于缓存的处理方式。基于传统数据库的处理方式在处理大规模静态数据时，主要使用硬盘(包括磁盘和固态硬盘)作为物理介质，其处理机制为存储与处理分离，即大规模静态数据存储在磁盘(或固态盘)上，当有用户需要查询时，再将数据批量加载至内存进行处理，一批数据处理结束释放内存空间后再加载下一批数据进行处理，直至所有数据全部处理完毕再向用户反馈查询结果。这种处理方式在处理大规模静态数据时，需要频繁地访问磁盘进行数据的交互读写操作，由于对磁盘读写数据的操作一方面要进行磁头的机械移动，另一方面收到系统调用(通常通过cpu中断完成，受到cpu时钟周期的制约)时间的影响，当数据量很大，操作频繁且复杂时，产生的延迟就变得十分明显，且延迟会随着数据量的增长呈线性增长，导致查询性能低下、响应速度较慢。尽管后来使用读写操作更快的固态盘替代了磁盘，但查询效率的提升也是捉襟见肘。
3、为了提升大规模静态数据的查询效率，在基于传统数据库的处理的基础上增大缓冲池，即现有技术中对大规模静态进行处理的第二种方式：基于缓存进行处理。该方式在
4、综上所述可知，现有技术对静态数据处理的两种方式都是先存储再加载，即数据先存储在硬盘上，查询时再批量加载至内存进行处理，一批数据处理完成后，释放内存，再加载下一批数据，频繁地进行磁盘的读写操作。由此导致大规模静态数据处理存在较大延迟，数据查询效率始终难以得到提升。因此，如何提高静态数据的数据查询效率，是目前有待解决的技术问题。
5、基于此，有必要引入一种新的方法和系统，将静态数据进行分页高速存储，并通过构建静态数据查询优化模型，根据静态数据读取和访问的频率实时对静态数据进行动态优化处理，实现静态数据查询优化和加速，以解决现有技术中数据频繁读写和磁盘i/o瓶颈导致静态数据查询效率低的技术问题，从而根据查询业务的需求动态对大规模静态数据的查询性能进行优化，提升静态数据查询的效率和性能。
技术实现思路
1、针对上面提到的技术问题，本专利技术提供一种静态数据查询方法和系统，将静态数据进行分页高速存储，并通过构建静态数据查询优化模型，根据静态数据读取和访问的频率实时对静态数据进行动态优化处理，实现静态数据查询优化和加速，以解决现有技术中数据频繁读写和磁盘i/o瓶颈导致静态数据查询效率低的技术问题，从而根据查询业务的需求动态对大规模静态数据的查询性能进行优化，提升静态数据查询的效率和性能。
2、本专利技术提供一种静态数据查询方法，所述方法包括：
3、s101，从持久化存储空间读取静态数据，并根据页面数据存储结构对所属静态数据进行分页存储，统计分页存储后形成的各个数据页的页面值、页面数量、索引页面数和索引值；s102，根据各个数据页的所述页面值、所述页面数量、所述索引页面数和所述索引值，构建并初始化静态数据查询优化模型；s103，基于所述静态数据查询优化模型，接收静态数据查询请求，并根据所述静态数据查询请求的解析结果从所述数据页中获取和返回结果数据，根据所述结果数据，更新所述页面值和所述索引值；s104，根据更新后的所述页面值和所述索引值，重新训练所述静态数据查询优化模型获得优化后的静态数据查询优化模型，并对全部所述数据页进行动态优化处理；
4、其中，所述页面数据存储结构包括：页面名称、页面值、页面字段名称、页面参数、页面属性、页面索引、存储域地址、存储域大小、脏页标识；所述页面参数包括：字段值、页面大小、数据类型、数据长度；所述页面属性包括：页面创建时间、页面释放状态、数据控制、磁盘存储地址。
5、如上所述，所述s101中，所述分页存储的步骤具体为：s1011，基于从持久化存储空间读取包含静态数据的数据块，以及数据表的列名称，从所述数据块中获取所述静态数据；s1012，根据所述列名称和所述页面数据存储结构，按照所述页面大小和预设存储方式，将所述静态数据切分为所述数据页，并添加所述页面名称、所述页面字段名称、所述页面参数和所述页面属性；s1023，依据所述页面大小确定所述数据页存储的所述存储域大小，并分配所述存储域地址，并按照所述存储域地址将所述数据页存储至高速存储中；s1024，初始设置所述数据页的页面值为1，所述脏页标识为空值，并基于所有所述数据页中包含的字段名称，以及各个所述数据页的页面名称创建所述页面索引，并生成与所述数据页对应的索引页；s1025，实时统计全部所述数据页的页面值、页面数量、索引页面数和索引值；其中，所述预设存储方式包括列存储方式和行存储方式，所述高速存储包括内存和高速缓存；所述索引页存储索引数据也按照所述预设存储方式进行存储。
6、如上所述，所述s102中，构建并初始化静态数据查询优化模型的步骤包括：s1021，对全部所述数据页的页面值进行求和，即全部所述数据页的页面值的和为：s1022，根据全部所述数据页的页面值的和以及所述页面数量、所述索引页面数和所述索引值，构建并初始化静态数据查询优化模型。
7、如上所述，步骤s102中，构建并初始化静态数据查询优化模型的步骤还包括：设，所述页面数量sp、所述索引页面数为sindex，所述索引值为dindex，所述页面名称为x，各个所述数据页的静态数据查询优化模型的值为f(x)，则所述静态数据查询优化模型为其中，n为大于或等于1的整数。
8、如上所述，所述s102的步骤包括：s1031，从应用端接收所述静态数据查询请求，对所述静态数据查询请求进行解析，获得所述解析结果，并根据所述解析结果选择所述页面索引，所述解析结果包括所述页面名称、所述页面字段名称和所述字段值；s1032，根据所述页面索引、所述页面名称、所述页面字段名称和所述字段值遍历高速存储中是否存在所述结果数据，并根据遍历结果获取所述结果数据，并将所述结果数据返回至所述应用端，更新所述页面值和所述索引值。
9、如上所述，所述s1032的具体步骤为：若所述高速存储中存在所述结果数据，本文档来自技高网...
【技术保护点】
1.一种静态数据查询方法，其特征在于，所述方法应用于大数据可视化数据处理平台中，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述S101中，所述分页存储的步骤具体为：
3.如权利要求1所述的方法，其特征在于，所述S102中，构建并初始化静态数据查询优化模型的步骤包括：
4.如权利要求1所述的方法，其特征在于，步骤S102中，构建并初始化静态数据查询优化模型的步骤还包括：
5.如权利要求1所述的方法，其特征在于，所述S102的步骤包括：
6.如权利要求5所述的方法，其特征在于，所述S1032的具体步骤为：
7.如权利要求1所述的方法，其特征在于，所述104的具体步骤包括：
8.如权利要求7所述的方法，其特征在于，所述S1043的具体步骤为：
9.一种实施权利要求1所述静态数据查询方法的系统，其特征在于，所述系统包括分页存储模块、模型构建模块、请求处理模块和模型优化模块；
【技术特征摘要】
1.一种静态数据查询方法，其特征在于，所述方法应用于大数据可视化数据处理平台中，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述s101中，所述分页存储的步骤具体为：
3.如权利要求1所述的方法，其特征在于，所述s102中，构建并初始化静态数据查询优化模型的步骤包括：
4.如权利要求1所述的方法，其特征在于，步骤s102中，构建并初始化静态数据查询优化模型的步骤还包括：
5.如权利...
【专利技术属性】
技术研发人员：李文峰，李旭升，林学博，
申请(专利权)人：北京柏睿数据技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。