数据获取模型建立的方法和数据获取的方法及装置制造方法及图纸

本发明专利技术公开了一种数据获取模型建立的方法和数据获取的方法及装置。其中，该方法包括：将一个或多个列中的每个列划分为多个区间，其中，数据库中存储的一个或多条数据中的字段存在至少一个相同，每个相同的字段对应的值为一列；每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组。本发明专利技术解决了现有技术创建数量众多的索引导致成本升高的技术问题。

The Method and Device of Data Acquisition Model Establishment and Data Acquisition

【技术实现步骤摘要】
数据获取模型建立的方法和数据获取的方法及装置
本专利技术涉及互联网技术应用领域，具体而言，涉及一种数据获取模型建立的方法和数据获取的方法及装置。
技术介绍
随着物联网、互联网的发展，现在已经进入了数据爆炸的时代，人类的活动、设备的活动正产生越来越多的行为数据。行为数据为大数据分析、人工智能等领域提供了很好的数据基础。其中在数据分析的过程中，如大数据分析，在具体的示例中例如用户浏览网店的行为会产生如下的数据：时间、网店ID、商品ID、用户ID、用户年龄、用户位置、商品价格等等很多很多属性的数据。基于上述多维度的数据，在大数据分析或人工智能领域，则需要对上述维度的数据进行透视分析，例如任意列、任意两列、任意N列的透视，进而透视得到勾选维度的人群、计数等。为了提高数据搜索速度，提高过滤性，在相关技术中往往需要创建索引，但是由于透视维度是任意的，那么为了实现提高数据的搜索速度，则需要依据用户越来越多的需求创建众多的索引，而由于创建数量众多的索引所代理的系统容量成本升高，以及由于容量成本的升高进而导致的写入性能的下降，上述问题在相关技术中成为了普遍存在的问题。针对上述由于现有技术创建数量众多的索引导致成本升高的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据获取模型建立的方法和数据获取的方法及装置，以至少解决现有技术创建数量众多的索引导致成本升高的技术问题。根据本专利技术实施例的一个方面，提供了一种数据获取模型建立的方法，包括：将一个或多个列中的每个列划分为多个区间，其中，数据库中存储的一个或多条数据中的字段存在至少一个相同，每个相同的字段对应的值为一列；每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组。可选的，每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组包括：在每个列为单列的情况下，以单列中的最大值和最小值为边界，切分得到N个区间，并将每条数据所在列的值依据对应的值的大小依次填入各个区间。进一步地，可选的，该方法还包括：依据接收到的搜索请求得到检索条件；根据检索条件所处的区间，获取区间在单列中所处的列位置；依据列位置提取检索条件对应的目标数据。可选的，每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组包括：在每个列为双列的情况下，以双列中的第一列的最大值和第一列的最小值，以及第二列的最大值和第二列的最小值为边界，对每列切分得到N个区间，并将每条数据所在列的值依据对应的值的大小依次填入各个区间。进一步地，可选的，该方法还包括：依据接收到的搜索请求得到检索条件；根据检索条件确定同时满足双列中第一列的区间和第二列的区间的区间集合；依据区间集合获取检索条件对应的目标数据。可选的，每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组包括：在每个列为三列的情况下，以三列中的第一列的最大值和第一列的最小值、第二列的最大值和第二列的最小值、以及第三列的最大值和第三列的最小值为边界，对每列切分得到N个区间，并将每条数据所在列的值依据对应的值的大小依次填入各个区间。进一步地，可选的，该方法还包括：依据接收到的搜索请求得到检索条件；根据检索条件确定同时满足三列中第一列的区间、第二列的区间和第三列的区间的区间集合；依据区间集合获取检索条件对应的目标数据。可选的，每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组包括：在每个列为N列的情况下，以N列中的每列的最大值和每列的最小值为边界，切分得到N个区间，并将每条数据所在列的值依据对应的值的大小依次填入各个区间。进一步地，可选的，该方法还包括：依据接收到的搜索请求得到检索条件；根据检索条件确定同时满足每列的区间的区间集合；依据区间集合获取检索条件对应的目标数据。可选的，各个区间标记对应色区，其中，各个色区对应的颜色深浅对应各个区间所记录的数据个数。可选的，每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组包括：在每个列为聚类集合的情况下，依据预设聚类规则得到N个区间，并将每条数据所在列的值依据所属的聚类区间，填入对应的聚类集合。根据本专利技术实施例的另一方面，还提供了一种数据获取的方法，包括：获取搜索请求中的检索条件，其中，搜索请求用于在数据库中存储的一个或多条数据中查找目标数据，多条数据中的每一条数据中的字段存在至少一个相同，每个相同的字段对应的值为一列；在预先建立的多个分组中查找检索条件对应的分组，其中，将一个或多个列中的列划分为多个区间；每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组；在分组中搜索满足检索条件的目标数据。可选的，在分组中搜索满足检索条件的目标数据包括：在分组为单列的情况下，根据检索条件所处的区间，获取区间在单列中所处的列位置；依据列位置提取目标数据。进一步地，可选的，在分组中搜索满足检索条件的目标数据包括：在分组为双列的情况下，根据检索条件确定同时满足双列中第一列的区间和第二列的区间的区间集合；依据区间集合获取检索条件对应的目标数据。可选的，在分组中搜索满足检索条件的目标数据包括：在分组为三列的情况下，根据检索条件确定同时满足三列中第一列的区间、第二列的区间和第三列的区间的区间集合；依据区间集合获取检索条件对应的目标数据。可选的，在分组中搜索满足检索条件的目标数据包括：在分组为N列的情况下，根据检索条件确定同时满足每列的区间的区间集合；依据区间集合获取检索条件对应的目标数据。可选的，在分组中搜索满足检索条件的目标数据包括：在分组为至少一个聚类集合的情况下，根据检索条件所处的区间确定在至少一个聚类集合中所处的聚类集合；在聚类集合中得到检索条件对应的目标数据。根据本专利技术实施例的又一方面，还提供了一种数据获取模型建立的装置，包括：划分模块，用于将一个或多个列中的每个列划分为多个区间，其中，数据库中存储的一个或多条数据中的字段存在至少一个相同，每个相同的字段对应的值为一列；模型建立模块，用于每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组。根据本专利技术实施例的再一方面，还提供了一种数据获取的装置，包括：条件获取模块，用于获取搜索请求中的检索条件，其中，搜索请求用于在数据库中存储的一个或多条数据中查找目标数据，多条数据中的每一条数据中的字段存在至少一个相同，每个相同的字段对应的值为一列；查询模块，用于在预先建立的多个分组中查找检索条件对应的分组，其中，将一个或多个列中的列划分为多个区间；每条数据均根据每条数据所在列的值对应到多个区间中的一个，得到每条数据在一个或多个列中所属的分组；搜索模块，用于在分组中搜索满足检索条件的目标数据。根据本专利技术另一实施例的一方面，还提供了一种存储介质，包括：存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的数据获取模型建立的方法和数据获取的方法。根据本专利技术另一实施例的另一方面，还提供了一种处理器，包括：处理器用于运行程序，其中，程序运行时执行上本文档来自技高网...

【技术保护点】
1.一种数据获取模型建立的方法，其特征在于，包括：将一个或多个列中的每个列划分为多个区间，其中，所述数据库中存储的一个或多条数据中的字段存在至少一个相同，每个相同的字段对应的值为一列；每条数据均根据所述每条数据所在列的值对应到所述多个区间中的一个，得到所述每条数据在所述一个或多个列中所属的分组。

【技术特征摘要】
1.一种数据获取模型建立的方法，其特征在于，包括：将一个或多个列中的每个列划分为多个区间，其中，所述数据库中存储的一个或多条数据中的字段存在至少一个相同，每个相同的字段对应的值为一列；每条数据均根据所述每条数据所在列的值对应到所述多个区间中的一个，得到所述每条数据在所述一个或多个列中所属的分组。2.根据权利要求1所述的方法，其特征在于，所述每条数据均根据所述每条数据所在列的值对应到所述多个区间中的一个，得到所述每条数据在所述一个或多个列中所属的分组包括：在所述每个列为单列的情况下，以所述单列中的最大值和最小值为边界，切分得到N个区间，并将所述每条数据所在列的值依据对应的值的大小依次填入各个区间。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：依据接收到的搜索请求得到检索条件；根据所述检索条件所处的区间，获取所述区间在所述单列中所处的列位置；依据所述列位置提取所述检索条件对应的目标数据。4.根据权利要求1所述的方法，其特征在于，所述每条数据均根据所述每条数据所在列的值对应到所述多个区间中的一个，得到所述每条数据在所述一个或多个列中所属的分组包括：在所述每个列为双列的情况下，以所述双列中的第一列的最大值和所述第一列的最小值，以及第二列的最大值和所述第二列的最小值为边界，对每列切分得到N个区间，并将所述每条数据所在列的值依据对应的值的大小依次填入各个区间。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：依据接收到的搜索请求得到检索条件；根据所述检索条件确定同时满足所述双列中第一列的区间和第二列的区间的区间集合；依据所述区间集合获取所述检索条件对应的目标数据。6.根据权利要求1所述的方法，其特征在于，所述每条数据均根据所述每条数据所在列的值对应到所述多个区间中的一个，得到所述每条数据在所述一个或多个列中所属的分组包括：在所述每个列为三列的情况下，以所述三列中的第一列的最大值和所述第一列的最小值、第二列的最大值和所述第二列的最小值、以及第三列的最大值和所述第三列的最小值为边界，对每列切分得到N个区间，并将所述每条数据所在列的值依据对应的值的大小依次填入各个区间。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：依据接收到的搜索请求得到检索条件；根据所述检索条件确定同时满足所述三列中第一列的区间、第二列的区间和第三列的区间的区间集合；依据所述区间集合获取所述检索条件对应的目标数据。8.根据权利要求1所述的方法，其特征在于，所述每条数据均根据所述每条数据所在列的值对应到所述多个区间中的一个，得到所述每条数据在所述一个或多个列中所属的分组包括：在所述每个列为N列的情况下，以所述N列中的每列的最大值和每列的最小值为边界，切分得到N个区间，并将所述每条数据所在列的值依据对应的值的大小依次填入各个区间。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：依据接收到的搜索请求得到检索条件；根据所述检索条件确定同时满足每列的区间的区间集合；依据所述区间集合获取所述检索条件对应的目标数据。10.根据权利要求1所述的方法，其特征在于，各个区间标记对应色区，其中，各个色区对应的颜色深浅对应各个区间所记录的数据个数。11.根据权利要求1所述的方法，其特征在于，所述每条数据均根据所述每条数据所在列的值对应到所述多个区间中的一个，得到所述每条数据在所述一个或多个列中所属的分组包括：在所述每个列为聚类集合的情况下，依据预设聚类规则得到N个区间，并将所述每条数...

【专利技术属性】
技术研发人员：范孝剑，周正中，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY