一种数据存储及查询的方法和装置制造方法及图纸

本申请公开了一种数据存储及查询的方法和装置。所述数据存储的方法包括：设置统计策略，所述统计策略中包含统计对象和对统计对象的数据进行计算的方法；建立数据库系统，所述数据库系统中包含具有多个时间粒度的表；计算出所述统计对象的数据在各个时间粒度下的统计值，存入所述数据库系统的表中相应时间粒度下。所述数据查询的方法包括：接收业务方的查询需求，根据所述查询请求确定统计对象；建立数据库系统，在数据库中建立基于所述统计对象的表，所述表中包含多个时间粒度；计算出所述统计对象的数据在各个时间粒度下的统计值，存入所述表中；根据所述表中的所述统计对象在各个时间粒度下的值，得到查询结果；将所述查询结果返回给业务方。

A method and device of data storage and query

The application discloses a method and device for data storage and query. The data storage method includes: setting statistics strategy, which includes statistics object and calculation method for the data of statistics object; establishing database system, which includes tables with multiple time granularity; calculating the statistics value of the data of statistics object under each time granularity, and storing it in the table of database system It should be time granularity. The data query method includes: receiving the query demand of the business party, determining the statistical object according to the query request; establishing a database system, establishing a table based on the statistical object in the database, wherein the table contains multiple time granularity; calculating the statistical values of the data of the statistical object under each time granularity, and storing them in the table; according to the The value of the statistical object under each time granularity is used to get the query result, and the query result is returned to the business party.

【技术实现步骤摘要】
一种数据存储及查询的方法和装置
本申请涉及计算机
，尤其涉及一种数据存储及查询的方法和装置。
技术介绍
在电子商务系统中，对交易风险的防控，是保障整个电子商务平台能够顺利运行的一个重要手段，这需要电子商务平台的运营方能够对用户的支付行为和商家的核销情况进行实时的了解和分类统计，从而在出现异常情况时，能够及时发现和警示，由运营人员进行深入的了解，及早予以处理。而现有的平台风控产品，在数据库中只存储了一条条交易行为的明细，缺少对于一个时间段的成交量或成交笔数的统计数据，因而不能快速的响应业务方的查询请求，也就无法进行细粒度级别的风险预警。
技术实现思路
本申请实施例提供了一种轻量级的数据存储及查询的方法和装置，用于解决现有技术不能快速响应查询请求、不能进行细粒度级别的风险预警的问题。本申请实施例采用以下技术方案：本申请实施例提供一个后台页面系统，用于设置统计策略，包括确定统计对象和对统计对象的数据进行计算的方法；本申请实施例还提供一个数据库系统，包含两类具有多个时间粒度列的表：统计表和去重表，其中，统计表用于存储统计对象的数据在不同的时间粒度下的统计值，并且为一般的统计运算提供数据上的支持，去重表在结构和功能上与统计表类似，主要用于为去重运算提供数据上的支持；本申请实施例还提供一个运行时系统，用于按照所述统计策略对所述统计对象进行统计，并按照所述对统计对象的数据进行计算的方法，得到所述统计对象的数据在不同的时间粒度下的统计值，并将所述统计值存入所述数据库系统中表的相应时间粒度中。本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：业务方在查询时能够快速得到结果，运营平台能够实现细粒度的风险预警和防控。附图说明为了更清楚的说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单介绍，这些附图仅仅是本说明书记载的一些实施例，用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为整个系统的架构图；图2为数据库系统中统计表的结构示意图；图3为数据库系统中去重表的结构示意图；图4为运行时系统按照统计策略执行统计时的流程图；图5为在某一天的不同时刻某一统计表中各列的值的变化情况示意图。具体实施方式为使本领域的技术人员能够更好的理解本说明书中的技术方案，下面将结合本申请具体实施例及相应的附图，对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。以下结合附图，详细说明本申请各实施例提供的技术方案。图1为本说明书的方案在一种实际应用场景下的整体架构示意图，该方案在架构上包括配置平台、运行时系统和数据库系统三个部分，其工作流程如下：在配置平台上设置统计策略，包括确定统计对象和对所述统计对象的数据进行计算的方法；运行时系统根据所述统计策略，对所述统计对象的数据进行统计，并按照所述对统计对象的数据进行计算的方法，得到统计对象的数据在每个时间粒度下的统计值，存入数据库系统中；数据库系统中包含具有多个时间粒度的表，用于存储统计对象的数据在不同时间粒度下的统计值。当收到业务方的查询需求时，运行时系统可以根据所述查询需求中的统计对象，在数据库系统中快速得到统计结果，返回给业务方。基于上述整体架构，下面对本说明书的方案进行详细说明。本说明书实施例提供了一个配置平台，所述配置平台可以是一个后台页面系统，运营人员在登录所述后台页面系统后，能够对统计策略进行设置。在本实施例中，运营人员可以以多种方式登录配置平台：可以通过PC登录，也可以通过手机或者平板电脑登录；可以是通过终端设备上的应用程序客户端登录，也可以是在浏览器上输入网址登录，本方案对于具体的登录方式不做限定。通过上述配置平台，运营人员可以对要执行的统计策略进行设置。统计策略是运行时系统在实施统计时所依据的规则，统计策略中可以包含统计对象和对所述统计对象的数据进行统计计算的方法，当然根据需要，统计策略中还可以包含其他一些内容。所述统计对象可以包括统计主体和统计客体，其中统计主体表达的是对电子商务平台中的何种对象进行统计，典型的统计主体如商户、买家等；统计客体表达的是对所述统计主体的何种信息进行统计，典型的统计客体如商品类别、交易金额等，平台的运营人员可以对每一个不同的统计对象，确定该统计对象自己对应的统计主体和统计客体。在确定了统计对象以及该统计对象的统计主体和统计客体之后，还要在统计策略中指定对所述统计对象进行统计计算的所用的方法。在电子商务应用中，经常用到的统计计算的方法包括数据的去重、累加和求和计算等，运营人员在设置统计策略时，可以根据实际需要，选择合适的统计计算方法。比如，要了解一个商户在11月11日当天的销售情况，就可以对该商户当天的交易笔数进行累加计算，得到该商户当天完成了多少笔交易，对该商户每笔交易的销售金额进行求和计算，得到该商户在这一天的总的销售额情况。在统计策略中，除了可以设置统计对象和对统计对象的数据进行计算的方法之外，还可以根据需要，在统计策略中配置过滤脚本，用于设置该项统计的一些前置条件，以便对要统计的数据进行限定或者筛选。这样在执行统计时，系统就会忽略那些与此次统计无关的信息，只统计符合所述统计策略中所述前置条件的数据记录。例如，要了解一个经营液晶电视的商户，在第三季度中，屏幕尺寸在60寸以上的液晶电视的销售额占该商户全部液晶电视总销售额的比重，就可以为这一查询请求设置两个统计策略，策略A用于统计该商户在第三季度的所有液晶电视的总销售额，前置条件是成交时间从7月1日0点00分至9月30日23:59分，商品类别为液晶电视，这样该商户第三季度中中非液晶电视产品的销售情况，就不被计入此次统计；策略B用于统计该商户在第三季度中屏幕尺寸大于等于60寸的液晶电视的总销售额，其前置条件除了成交时间为从7月1日0点00分至9月30日23:59分、商品类别为液晶电视之外，还要在商品的规格上设置电视的屏幕尺寸大于等于60寸的液晶电视这一条件，这样该商户中屏幕尺寸小于60寸的液晶电视的销售数据，在执行统计时就不会被计入。通过这样的设置，在执行统计时就会排除该商户的其他商品的销售数据，只统计该商户在第三季度的60寸以上液晶电视的销售数据，和该商户第三季度全部液晶电视的销售数据，然后通过求和计算的方法分别得到该商户第三季度60寸以上液晶电视的销售额和第三季度全部液晶电视的总销售额，将两个数据相除即可得到在第三季度中60寸以上液晶电视占全部液晶电视的销售情况比重。通过在统计策略中设置能完成上述任务的脚本，即可实现统计时的过滤功能，只统计符合前置条件的数据记录。在实际的电子商务应用环境中，一个运营平台上可以同时执行多个不同的统计策略，同时对多个不同的统计对象进行统计，或者同时对一个统计对象进行多个不同维度本文档来自技高网...

【技术保护点】
1.一种数据存储方法，包括：/n设置统计策略，所述统计策略中包含统计对象和对所述统计对象的数据进行计算的方法；/n建立数据库系统，所述数据库系统中包含具有多个时间粒度的表；/n按照所述统计策略中对所述统计对象的数据进行计算的方法，计算出所述统计对象的数据在每个时间粒度下的统计值，存入所述数据库系统的表中相应时间粒度下。/n

【技术特征摘要】
1.一种数据存储方法，包括：
设置统计策略，所述统计策略中包含统计对象和对所述统计对象的数据进行计算的方法；
建立数据库系统，所述数据库系统中包含具有多个时间粒度的表；
按照所述统计策略中对所述统计对象的数据进行计算的方法，计算出所述统计对象的数据在每个时间粒度下的统计值，存入所述数据库系统的表中相应时间粒度下。


2.如权利要求1所述的数据存储方法，所述统计策略带有统计策略的编号，用于对不同的统计策略进行标识和区分。


3.如权利要求1所述的数据存储方法，所述统计对象包含统计主体和统计客体，其中：
统计主体用于确定对何种对象进行统计；
统计客体用于确定对所述统计主体的何种信息进行统计；
所述统计主体带有统计主体的编号，所述统计客体带有统计客体的编号，用于对不同的统计主体和统计客体进行标识和区分。


4.如权利要求1所述的数据存储方法，所述数据库系统是基于HBase架构的数据库系统。


5.如权利要求1所述的数据存储方法，所述数据库系统的表中包含三个不同的时间粒度，其中第一时间粒度大于第二时间粒度，第二时间粒度大于第三时间粒度。


6.如权利要求1所述的数据存储方法，所述数据库系统的表的第一时间粒度为日，用于存储统计对象的数据在每日的统计值；第二时间粒度为小时，用于存储统计对象的数据在每小时的统计值；第三时间粒度为分钟，用于存储统计对象的数据在每分钟的统计值。


7.如权利要求1所述的数据存储方法，所述对统计对象的数据进行计算的方法，包括对数据的累加、去重和求和计算。


8.一种数据查询的方法，包括：
接收业务方的查询请求；
根据所述查询请求，确定统计对象，并在数据库系统中建立基于所述统计对象的表，所述表中包含多个时间粒度；
计算出所述统计对象的数据在所述表中的各个时间粒度下的统计值，存入所述表中；
根据所述表中所述统计对象的数据在各个时间粒度的统计值，得到所需的查询结果；
将所述查询结果返回给业务方。


9.一种数据存储的装置，包括：
配置平台，用于设置统计策略，所述统计策略中包含统计对象和对所述统计对象的数据进行计算的方法；
数据库系统，包含具有多个时间粒度的表；
运行时系统，按照所述统计策略对所述统计对象进行统计，按照所述统计策略中对统计对象的数据进行计算的方法，生...

【专利技术属性】
技术研发人员：杨波，林明树，庞恩亮，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33