【技术实现步骤摘要】
一种快速响应数据查询请求的方法和系统
本专利技术涉及大数据领域，具体涉及一种快速响应数据查询请求的方法和系统。
技术介绍
随着数据的不断积累以及人们对数据分析的重视程度不断提升，对于数据的应用数量以及广度都在增加，其中，对于数据库中特定数据的请求，不管是传统数据架构的数据库，还是目前使用基于大数据的数据分析架构的数据库，基本都还是根据具体业务需求进行数据模型的定制化开发，最后把结果数据同步到数据库或者druid之类可以直接进行数据展示的数据存储中，再通过报表工具或者自开发的平台进行前端页面展示。但是上述的数据查询请求的整个过程中存在着下述的问题：随着数据库中业务量数据的分析不断增加，数据模型的开发工作会越来越多，需要的开发资源不断提升，且在处理大量数据时，不管是数据库还是Druid连接池等在需要快速响应的应用场景下很难达到毫秒级的性能要求，虽然Druid连接池有支持快速的聚合、过滤等优势，且通过Druid连接池的数据库使用简单，但是其响应在秒级，响应的性能往往更低，同样无法达到目前数据请求中对于高速性能的要求。如何在...
【技术保护点】
1.一种快速响应数据查询请求的方法，其特征在于，所述方法包括以下步骤：/n从后台管理系统中调取数据体系的若干分类表，所述分类表中配置有不同的种类标签，所述种类标签都有对应的编码，所述后台管理系统中分列有根据所述种类标签设计的全类计算规则，根据所述种类标签和所述全类计算规则生成任务日志；/n从数据源中调取数据到离线任务中，从所述任务日志中提取出HQL计算规则，利用所述HQL计算规则得到所述数据源中数据对应的基础结果集，将所述基础结果集以Rowkey规则插入到Hbase数据库；/n从所述任务日志中提取出Method计算规则，利用所述Method计算规则和所述基础结果集得到衍生结...
【技术特征摘要】
1.一种快速响应数据查询请求的方法，其特征在于，所述方法包括以下步骤：
从后台管理系统中调取数据体系的若干分类表，所述分类表中配置有不同的种类标签，所述种类标签都有对应的编码，所述后台管理系统中分列有根据所述种类标签设计的全类计算规则，根据所述种类标签和所述全类计算规则生成任务日志；
从数据源中调取数据到离线任务中，从所述任务日志中提取出HQL计算规则，利用所述HQL计算规则得到所述数据源中数据对应的基础结果集，将所述基础结果集以Rowkey规则插入到Hbase数据库；
从所述任务日志中提取出Method计算规则，利用所述Method计算规则和所述基础结果集得到衍生结果集，将所述衍生结果集以Rowkey规则插入到Hbase数据库；
对所述Hbase数据库的发出数据查询请求，根据所述Rowkey规则对所述数据查询请求作出响应。
2.根据权利要求1所述的快速响应数据查询请求的方法，其特征在于，所述种类标签包括指标种类、维度种类、视角种类和周期，所述指标种类至少包括能够自由组合的指标和指标属性，所述维度种类至少包括能够自由组合的维度名称和维度值，所述视角由若干所述维度种类自由组合。
3.根据权利要求2所述的快速响应数据查询请求的方法，其特征在于，所述任务日志的生成还包括对于所述种类标签的导入和排列，所述排列的结果至少包括基础指标任务结果和衍生指标任务结果，所述基础指标任务对应于所述基础结果集，所述衍生指标任务结果对应于所述衍生指标结果集。
4.根据权利要求1所述的快速响应数据查询请求的方法，其特征在于，所述HQL计算规则的利用包括将所述HQL计算规则解析成为若干可执行的SQL计算语句，通过所述SQL计算语句将所述种类标签的编码和所述数据库中数据种类的进行匹配，所述种类标签的组合数量对应于所述SQL计算语句解析的数量。
5.根据权利要求1所述的快速响应数据查询请求的方法，其特征在于，所述Method计算规则的利用包括通过JaveScript计算引擎解析所述Method计算规则，所述Method计算规则的计算先后顺序由所述衍生结果集的等级决定。
6.一种快速响应数据...
【专利技术属性】
技术研发人员：金林海，徐亮，
申请(专利权)人：苏宁云计算有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。