数据存储系统及其方法和数据分析系统及其方法技术方案

本发明专利技术提供一种数据存储系统，其包括：数据获取装置，其适于获取需要存储的数据；数据解析装置，其适于将所述数据获取装置获取的所述需要存储的数据进行解析，获得需要存储的数据的特征并确定存储位置；元数据记录装置，其适于记录所述需要存储的数据的元数据信息，所述元数据信息包括所述需要存储的数据的特征及存储位置；以及数据存储装置，其适于基于所述元数据记录装置记录的元数据信息，将所述数据解析装置解析出的数据存储在相应的存储位置。另外，本发明专利技术还提供一种数据存储方法及数据分析系统及方法。利用本发明专利技术，可以灵活、有序地实现数据存储，尤其在有大量数据需要存储的情形下。

【技术实现步骤摘要】

本专利技术涉及计算机和通信
，尤其涉及数据存储方法及装置和数据分析方法及装置。
技术介绍
当大量、多种类数据实时传输并存储时，需要能够快速、有序地存储、从而方便快速、有序地查询。现有技术中，存储的数据种类通常是预先设定好的，不能随意增加的新的数据种类，即使新增加了，在存储时也会被认为是异常而被丢弃。例如，在大数据统计分析中，每时每刻都可能会有大量数据产生，统计的数据种类可能会随着用户的需求的不同而变化，因此，要求能够更灵活地对数据种类进行增加或者改变。但现有的数据统计分析工具在需要增加新的数据种类时，往往需要对统计分析工具进行升级或重新安装，不仅服务器侧需要升级或重新安装，客户端侧也要进行相应的升级或重新安装，这对于使用统计分析工具的用户(例如电子商务平台或者APP开发者)来说，比较麻烦。如果重新安装，还可能存在不能将以往的数据导入新的统计分析工具中或者造成某些数据的丢失的，因此，目前的统计分析工具缺少灵活性，不适应快速发展、变化的电商经营者及APP开发者的需求，导致其统计分析结果只具有一定程度的参考价值，不能很大程度上地依赖。因此，需要有一种灵活的数据存储机制。
技术实现思路
为解决现有存在的技术问题，本专利技术提供一种数据存储系统及方法，其能将连续不断的数据有序、快速地进行存储，并使得对存储的数据的查询更高效。为达到上述目的，本专利技术实施例的技术方案是这样实现的：根据本专利技术的一个方面，提供一种数据存储系统，其包括：数据获取装置，其适于获取需要存储的数据；数据解析装置，其适于将所述数据获取装置获取的所述需要存储的数据进行解析，获得需要存储的数据的特征并确定存储位置；元数据记录装置，其适于记录所述需要存储的数据的元数据信息，所述元数据信息包括所述需要存储的数据的特征及存储位置；以及数据存储装置，其适于基于所述元数据记录装置记录的元数据信息，将所述数据解析装置解析出的数据存储在相应的存储位置。根据本专利技术的另一方面，提供一种数据存储方法，其包括：获取需要存储的数据；对所述需要存储的数据进行解析，获得需要存储的数据的特征并确定其存储位置；记录所述需要存储的数据的元数据信息，所述元数据信息包括所述需要存储的数据的特征及存储位置；以及基于所记录的元数据信息，将所述解析出的数据存储在相应的存储位置。根据本专利技术的又一方面，提供一种数据查询装置，其适于对根据前面所述的数据存储系统存储的数据进行查询，其包括：第一接收模块，其适于接收来自WEB前端的查询请求，所述查询请求包含一个或多个查询条件和一个或多个显示参数；第二解析模块，其适于基于所述数据存储系统的元数据记录装置中记录的元数据信息解析所述查询请求，获得解析结果；查询机制建立模块，其适于基于所述第二解析模块的解析结果建立查询机制；第一查询模块，其适于根据所建立的查询机制查询所述数据存储系统中的数据存储装置中的数据，获得查询结果；第一存储模块，其适于存储所述查询结果，以及第一发送模块，其适于将所述查询结果发送给所述WEB前端。根据本专利技术又一方面，提供一种数据查询方法，其对根据前面所述的数据存储方法存储的数据进行查询，其包括：获取来自WEB前端的查询请求，所述查询请求包含一个或多个查询条件和一个或多个显示参数；基于被存储的数据的元数据信息，解析所述查询请求中包含的查询条件和显示参数，获得解析结果；基于所述解析结果构建查询机制；基于所构建的查询机制查询所述存储的数据，获取查询结果；以及将所述查询结果发送至所述WEB前端。根据本专利技术的又一方面，提供一种数据展现系统，其包括：显示装置，其位于WEB前端，适于接收使用者对查询条件和显示参数的输入、以及显示基于所述查询条件和显示参数所获得的查询结果；第二接收模块，其位于WEB服务器中，适于接收所述查询条件和显示参数，并传送至根据前面所述的数据查询装置；根据前面所述的数据查询装置，适于根据所述查询条件和显示参数，查询前面所述的数据存储系统中的数据存储装置存储的数据，获得查询结果；以及获取模块，其位于WEB服务器中，适于从所述数据查询装置中获取所述查询结果，并将所述查询结果发送至所述显示装置。根据本专利技术的又一方面，提供一种数据展现方法，包括：接收使用者输入的查询条件和显示参数；根据所述查询条件和显示参数，采用前面所述的数据查询方法，查询根据前面所述的数据存储方法存储的数据，获得查询结果；以及将所述查询结果发送至WEB前端进行展现。根据本专利技术的又一方面，提供一种数据分析系统，其包括：数据采集系统，其适于从客户端和/或服务器中采集数据，所述采集的数据包含根据用户需求而设置的多个数据种类；数据传输系统，其适于将所述数据采集系统所采集的数据进行提取、转换并传输；根据前面所述的数据存储系统，其适于将所述数据传输系统传输的数据进行存储、并记录相应的元数据信息；以及根据前面所述的数据展现系统，其适于基于使用者输入的查询条件和显示参数，查询所述数据存储系统存储的数据并获取查询结果，然后显示在WEB前端。根据本专利技术的又一方面，提供一种数据分析方法，其包括：从客户端和/或服务器中采集数据，所述采集的数据包含根据用户需求而设置的多个数据种类；将所述采集的数据进行提取、转换并传输；将所述传输的数据根据前面所述的数据存储方法进行存储、并记录相应的元数据信息；以及根据前面所述的数据展现方法，基于使用者输入的查询条件和显示参数，从所述存储的数据中获得查询结果并在WEB前端显示。附图说明在附图(其不一定是按比例绘制的)中，相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。图1示出了根据本专利技术的一种实施方式的数据存储系统的结构示意图；图2示出了根据本专利技术的一种实施方式的数据分析系统的结构示意图；以及图3示出了根据本专利技术的一种实施方式的数据解析装置的结构示意图；图4示出了根据本专利技术的一种实施方式的第二注册模块的结构示意图；图5示出了根据本专利技术的一种实施方式的存储位置选择模块的结构示意图；图6示出了根据本专利技术的一种实施方式的数据存储方法的流程图；图7示出了本专利技术的对新的自定义属性进行注册的方法的一种实施例的流程图；图8示出了本专利技术的为新的自定义属性选择用于存储的列的方法的一种实施例的流程图；图9示出了根据本专利技术的一种实施方式的数据查询装置的结构示意图；图10示出了根据本专利技术的一种实施方式的数据查询方法的流程图；图1本文档来自技高网...

【技术保护点】
数据存储系统，其特征在于，包括：数据获取装置，其适于获取需要存储的数据；数据解析装置，其适于将所述数据获取装置获取的所述需要存储的数据进行解析，获得需要存储的数据的特征并确定存储位置；元数据记录装置，其适于记录所述需要存储的数据的元数据信息，所述元数据信息包括所述需要存储的数据的特征及存储位置；以及数据存储装置，其适于基于所述元数据记录装置记录的元数据信息，将所述数据解析装置解析出的数据存储在相应的存储位置。

【技术特征摘要】
1.数据存储系统，其特征在于，包括：
数据获取装置，其适于获取需要存储的数据；
数据解析装置，其适于将所述数据获取装置获取的所述需要存储的数据进行解析，获
得需要存储的数据的特征并确定存储位置；
元数据记录装置，其适于记录所述需要存储的数据的元数据信息，所述元数据信息包
括所述需要存储的数据的特征及存储位置；以及
数据存储装置，其适于基于所述元数据记录装置记录的元数据信息，将所述数据解析
装置解析出的数据存储在相应的存储位置。
2.根据权利要求1所述的系统，其中，
所述需要存储的数据被分为第一类别和第二类别，所述第一类别和所述第二类别分别
包含一个或多个子类别；每个子类别分别具有一种或多种属性，所述属性包括自定义属性，
每种属性具有属性名及属性值；
所述数据存储装置包括存储所述第一类别数据的第一存储单元和存储所述第二类别
数据的第二存储单元；
所述数据解析装置解析所述需要存储的数据的类别、子类别、以及所述子类别具有的
自定义属性，确定各自定义属性的属性值的数据类型以及在所述数据存储装置中的存储位
置；
在所述数据存储装置的第一存储单元和第二存储单元中，具有相同属性名和属性值的
数据类型相同的自定义属性存储在相同存储位置，且所述存储位置所存储的属性值的数据
类型由第一次存储的属性值的数据类型确定。
3.根据权利要求2所述的系统，其中，
所述数据解析装置包括：
第一解析模块，其适于解析所述需要存储的数据中包含的新的子类别和已有子类别、
所述新的子类别和已有子类别中的新的自定义属性和已有的自定义属性、各自定义属性的
属性值的数据类型；对于已有子类别中的已有自定义属性，判断其属性值的数据类型与元
数据信息中记录的所述已有自定义属性的属性值的数据类型是否一致，如果一致则按照元
数据记录装置记录的元数据信息存储在所述数据存储装置中的存储位置，如果不一致，而
视为异常；
第一注册模块，其适于对所述需要存储的数据包含的新的子类别进行注册，为其分配
子类别标识号；以及
第二注册模块，其适于对所述子类别包含的新的自定义属性进行注册，为其建立元数
据信息，确定各新的自定义属性的属性值在所述数据存储模块中的存储位置。
4.数据存储方法，其特征在于，包括：
获取需要存储的数据；
对所述需要存储的数据进行解析，获得需要存储的数据的特征并确定其存储位置；
记录所述需要存储的数据的元数据信息，所述元数据信息包括所述需要存储的数据的
特征及存储位置；以及
基于所记录的元数据信息，将所述解析出的数据存储在相应的存储位置。
5.数据查询装置，适于对根据权利要求1-3中任何一个所述的数据存储系统存储的数
据进行查询，其特征在于，包括：
第一接收模块，其适于接收来自WEB前端的查询请求，所述查询请求包含一个或多个查
询条件和一个或多个显示参数；
第二解析模块，其适于基于所述数据存储系统的元数据记录装置中记录的元数据信息
解...

【专利技术属性】
技术研发人员：曹犟，付力力，桑文锋，刘耀洲，
申请(专利权)人：神策网络科技北京有限公司，
类型：发明
国别省市：北京;11