基于个人健康大数据平台的海量数据查询方法和装置制造方法及图纸

本发明专利技术涉及大数据存储和查询应用技术领域，特别涉及基于个人健康大数据平台的海量数据查询方法和装置，包括：接收用户从应用端发送查询请求和查询信息，查询信息包括A类维度数据；发送请求至平台业务服务器端的elasticsearch索引数据库并进行索引值查询，确定A类维度数据对应的索引值；基于索引值查询Redis内存实时数据库中对应的B类维度数据；基于索引值查询HBase分布式数据库中对应的C类维度数据，所述C类维度数据包括健康全历史数据，所述C类维度数据以历史数据建立数据表的组织方式存储于HBase分布式数据库中；基于查询信息对应的A类维度数据、B类维度数据、C类维度数据生成结果数据；发送结果数据至发送查询请求和查询信息的应用端。询请求和查询信息的应用端。询请求和查询信息的应用端。

【技术实现步骤摘要】
基于个人健康大数据平台的海量数据查询方法和装置


[0001]本专利技术涉及大数据存储和查询应用
，特别涉及基于个人健康大数据平台的海量数据查询方法和装置。

技术介绍

[0002]个人健康数据的来源和种类多种多样，包括医疗机构的临床数据、社区健康服务的体检数据、可穿戴设备采集的健康监控数据，以及用户App的动态个人健康数据等。传统的个人健康系统仅仅通过简单的数据列表管理和分析个人健康数据。这样无法充分发挥不同类型健康数据在健康分析和预测中的能力。百万级个人用户会产生百亿级的数据，个人健康大数据平台首先需要支持快速的海量实时流数据的查询分析。同时，随着用户数据长时间的不断扩充，持续积累得海量历史数据需要新的方法支持不同于实时流数据的查询方式。
[0003]常用的实时流数据存储采用内存或缓存数据库，具有易失性和空间受限的约束。而海量的全部历史数据对存储空间和分布式查询分析提出了更大挑战。常用的关系型数据库或非关系型数据库存储容量、查询效率以及索引长度等的限制，无法对更大数据量层级的海量数据信息进行更高效的存储和查询。

技术实现思路

[0004]针对现有技术存在的不足，本专利技术的目的之一在于提供一种基于个人健康大数据平台的海量数据查询方法，能够根据多种数据库特性，针对实时数据和历史数据，提供不同的查询方法，实现海量健康数据的存储，并基于应用请求快速查询相关数据。
[0005]本专利技术的上述技术目的是通过以下技术方案得以实现的：基于个人健康大数据平台的海量数据查询方法和装置，包括如下步骤：接收用户从应用端发送查询请求和查询信息，查询信息包括A类维度数据，所述A类维度数据包括基本数据和常规数据的个人基础健康信息；发送请求至平台业务服务器端的elasticsearch索引数据库并进行索引值查询，确定A类维度数据对应的索引值；基于索引值查询Redis内存实时数据库中对应的B类维度数据，所述B类维度数据包括生活数据和行为数据的实时采集监控信息，所述B类维度数据以实时数据建立Key
‑
Value数据的组织方式存储在Redis数据库中；基于索引值查询HBase分布式数据库中对应的C类维度数据，所述C类维度数据包括健康全历史数据，所述C类维度数据以历史数据建立数据表的组织方式存储于HBase分布式数据库中；基于查询信息对应的A类维度数据、B类维度数据、C类维度数据生成结果数据；发送结果数据至发送查询请求和查询信息的应用端；其中，
基于所述B类维度数据和C类维度数据在Redis数据库和HBase分布式数据库中抽取关键索引值，针对抽取的关键索引值和A类维度数据建立索引数据表，并存储在elasticsearch索引数据库中。
[0006]进一步的，在实时更新elasticsearch索引数据库中的索引表时，包括通过监听Redis数据库中哈希映射表的Key值是否发生变化，触发elasticsearch索引数据库的更新，在实时数据同步写入Redis数据库时，更新索引值实时写入elasticsearch索引数据库。
[0007]进一步的，接收用户从应用端发送查询请求和查询信息时，同步响应对请求方用户发来的请求信息进行验证，并根据请求的确定信息进行应答和反馈。
[0008]进一步的，将B类维度模型部分转化为C类维度模型的方法包括：把修改数据的操作命令保存到ASAP文件中，当Redis重启后重新执行一遍ASAP文件里的命令，采用Redis数据库的AOF方法对实时数据进行持久化数据保存。
[0009]进一步的，定期变更HBase分布式数据库中索引值。
[0010]进一步的，在发送结果数据至发送查询请求和查询信息的应用端时，还包括：将反馈至应用端的结果数据形成周期曲线反馈值应用端。
[0011]针对现有技术存在的不足，本专利技术的目的之二在于提供一种基于个人健康大数据平台的海量数据查询装置，能够根据多种数据库特性，针对实时数据和历史数据，提供不同的查询方法，实现海量健康数据的存储，并基于应用请求快速查询相关数据。
[0012]本专利技术的上述技术目的是通过以下技术方案得以实现的：基于个人健康大数据平台的海量数据查询装置，包括：数据采集器、业务服务器端、服务端、应用端；所述服务端包括：用户请求接收/反馈模块，用于接收应用端发送的查询请求和查询信息，并发送结果数据至发送查询请求和查询信息的应用端；关键字索引值查询模块，发送请求至平台业务服务器端的elasticsearch索引数据库并进行索引值查询，确定A类维度数据对应的索引值；实时流数据查询分析模块，基于索引值查询Redis内存实时数据库中对应的B类维度数据；历史数据查询分析模块，基于索引值查询HBase分布式数据库中对应的C类维度数据；结果数据生成模块，基于查询信息对应的A类维度数据、B类维度数据、C类维度数据生成结果数据。
[0013]针对现有技术存在的不足，本专利技术的目的之三在于提供一种电子设备，能够根据多种数据库特性，针对实时数据和历史数据，提供不同的查询方法，实现海量健康数据的存储，并基于应用请求快速查询相关数据。
[0014]本专利技术的上述技术目的是通过以下技术方案得以实现的：一种电子设备，包括RAM存储器、ROM存储器、通信接口、处理器、总线；其中，处理器、通信接口、RAM存储器和ROM存储器之间通过总线连接，RAM存储器用于存储计算机程序，以支持处理器执行以下操作：接收用户从应用端发送查询请求和查询信息，查询信息包括A类维度数据，所述A
类维度数据包括基本数据和常规数据的个人基础健康信息；发送请求至平台业务服务器端的elasticsearch索引数据库并进行索引值查询，确定A类维度数据对应的索引值；基于索引值查询Redis内存实时数据库中对应的B类维度数据，所述B类维度数据包括生活数据和行为数据的实时采集监控信息，所述B类维度数据以实时数据建立Key
‑
Value数据的组织方式存储在Redis数据库中；基于索引值查询HBase分布式数据库中对应的C类维度数据，所述C类维度数据包括健康全历史数据，所述C类维度数据以历史数据建立数据表的组织方式存储于HBase分布式数据库中；基于查询信息对应的A类维度数据、B类维度数据、C类维度数据生成结果数据；发送结果数据至发送查询请求和查询信息的应用端；其中，基于所述B类维度数据和C类维度数据在Redis数据库和HBase分布式数据库中抽取关键索引值，针对抽取的关键索引值和A类维度数据建立索引数据表，并存储在elasticsearch索引数据库中；ROM存储器用于存储数据，处理器被配置为用于执行RAM存储器中存储的程序。
[0015]针对现有技术存在的不足，本专利技术的目的之四在于提供一种机器可读介质，能够根据多种数据库特性，针对实时数据和历史数据，提供不同的查询方法，实现海量健康数据的存储，并基于应用请求快速查询相关数据。
[0016]本专利技术的上述技术目的是通过以下技术方案得以实现的：一种机器可读介质，所述机器可读介质存储有机器可执行指令，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于个人健康大数据平台的海量数据查询方法，其特征在于，包括如下步骤：接收用户从应用端发送查询请求和查询信息，查询信息包括A类维度数据，所述A类维度数据包括基本数据和常规数据的个人基础健康信息；发送请求至平台业务服务器端的elasticsearch索引数据库并进行索引值查询，确定A类维度数据对应的索引值；基于索引值查询Redis内存实时数据库中对应的B类维度数据，所述B类维度数据包括生活数据和行为数据的实时采集监控信息，所述B类维度数据以实时数据建立Key
‑
Value数据的组织方式存储在Redis数据库中；基于索引值查询HBase分布式数据库中对应的C类维度数据，所述C类维度数据包括健康全历史数据，所述C类维度数据以历史数据建立数据表的组织方式存储于HBase分布式数据库中；基于查询信息对应的A类维度数据、B类维度数据、C类维度数据生成结果数据；发送结果数据至发送查询请求和查询信息的应用端；其中，基于所述B类维度数据和C类维度数据在Redis数据库和HBase分布式数据库中抽取关键索引值，针对抽取的关键索引值和A类维度数据建立索引数据表，并存储在elasticsearch索引数据库中。2.根据权利要求1的基于个人健康大数据平台的海量数据查询方法，其特征在于，在实时更新elasticsearch索引数据库中的索引表时，包括通过监听Redis数据库中哈希映射表的Key值是否发生变化，触发elasticsearch索引数据库的更新，在实时数据同步写入Redis数据库时，更新索引值实时写入elasticsearch索引数据库。3.根据权利要求1的基于个人健康大数据平台的海量数据查询方法，其特征在于，接收用户从应用端发送查询请求和查询信息时，同步响应对请求方用户发来的请求信息进行验证，并根据请求的确定信息进行应答和反馈。4.根据权利要求1的基于个人健康大数据平台的海量数据查询方法，其特征在于，将B类维度模型部分转化为C类维度模型的方法包括：把修改数据的操作命令保存到ASAP文件中，当Redis重启后重新执行一遍ASAP文件里的命令，采用Redis数据库的AOF方法对实时数据进行持久化数据保存。5.根据权利要求4的基于个人健康大数据平台的海量数据查询方法，其特征在于，定期变更HBase分布式数据库中索引值。6.根据权利要求1的基于个人健康大数据平台的海量数据查询方法，其特征在于，在发送结果数据至发送查询请求和查询信息的应用端时，还包括：将反馈至应用端的结果数据形成周期曲线反馈值应用端。7.一种基于个人健康大数据平台的海量数据查询装置，其特征在于，包括：数据采集器、业务服务器端、服务端、应用端；所述服务端包括：用户请求接收/反馈模块，用于接收应用端发送的查询请求和查询信息，并发送结果数据至发送查询请求和查询信息的应用端；关键字索引值查询模块，发送请求至平台业务服务器端的elasticsearch索引数据库
并进行索引值查询，确定A类维度数据对应的索引值；实时流数据查询分析模块，基于索引值查询Redis内存...

【专利技术属性】
技术研发人员：钱军波，汤人杰，陈俊杰，王清，
申请(专利权)人：浙江移动信息系统集成有限公司，
类型：发明
国别省市：