【技术实现步骤摘要】
数据建模方法及装置
本专利技术涉及数据分析
,具体而言,涉及一种数据建模方法及装置。
技术介绍
随着大数据产业的飞速发展,大数据的可视化技术的应用日益增多。用户对于可视化的视觉效果、交互操作的需求逐步进入精细化时期,具体需求千差万别,市场竞争日趋激烈,但对于可视化产品的研发周期却在不断的缩短,因此所有可视化产品的数据处理技术成为可视化产品的竞争力关键所在,对数据灵活、快速、智能的处理直接代表了可视化软件的品质。可视化软件产品的数据处理技术具体包括数据采集技术、数据建模技术、数据高速缓存等技术。其中数据建模技术直接决定了数据用户的应用灵活性与数据产生价值的复杂度。数据建模是指从原始数据中筛选出满足用户需求的数据的过程,为便于进行数据分析,数据模型中的数据分为两种类型,一种是指标,一种是维度。在现有技术中,数据建模通常需要用户业务分析师和数据分析师协作完成,通过人工方式逐项确定数据模型中需要使用的指标和维度,然后编写相应的SQL语句完成建模,对专业人员依赖程度大,沟通成本高,效率低下,数据建模周期往往占用整个项目实施周期一半以上时间。
技术实现思路
有鉴于此,本专利 ...
【技术保护点】
1.一种数据建模方法,其特征在于,包括:连接到数据源,提取所述数据源的数据表中的M个字段,其中,M为大于1的正整数;取i为1至M,统计历史数据库中与第i个字段对应的历史字段的用途,并基于用途统计结果计算所述第i个字段的第一用途推荐值,在处理完所述M个字段时,共计算获得M个第一用途推荐值,其中,所述第一用途推荐值包括将所述第i个字段推荐为数据模型的指标的指标推荐值,以及将所述第i个字段推荐为所述数据模型的维度的维度推荐值;基于所述M个第一用途推荐值确定推荐指标维度组合,所述推荐指标维度组合包括至少一个推荐为所述数据模型的维度的字段以及至少一个推荐为所述数据模型的指标的字段;基 ...
【技术特征摘要】
1.一种数据建模方法,其特征在于,包括:连接到数据源,提取所述数据源的数据表中的M个字段,其中,M为大于1的正整数;取i为1至M,统计历史数据库中与第i个字段对应的历史字段的用途,并基于用途统计结果计算所述第i个字段的第一用途推荐值,在处理完所述M个字段时,共计算获得M个第一用途推荐值,其中,所述第一用途推荐值包括将所述第i个字段推荐为数据模型的指标的指标推荐值,以及将所述第i个字段推荐为所述数据模型的维度的维度推荐值;基于所述M个第一用途推荐值确定推荐指标维度组合,所述推荐指标维度组合包括至少一个推荐为所述数据模型的维度的字段以及至少一个推荐为所述数据模型的指标的字段;基于所述推荐指标维度组合从所述数据表中提取数据并生成所述数据模型。2.根据权利要求1所述的数据建模方法,其特征在于,所述基于所述M个第一用途推荐值确定推荐指标维度组合,包括:基于所述M个字段确定至少一个指标维度组合,其中,每个指标维度组合均包括至少一个推荐为所述数据模型的维度的字段以及至少一个推荐为所述数据模型的指标的字段;对每个指标维度组合中与各个字段的用途对应的所述第一用途推荐值进行加权求和运算,获得表示每个指标维度组合被用于创建所述数据模型的推荐程度的组合推荐值;将所述至少一个指标维度组合按照每个指标维度组合的所述组合推荐值的大小进行排序,并基于排序结果确定所述推荐指标维度组合。3.根据权利要求1所述的数据建模方法,其特征在于,每个字段均包括N项字段信息,其中,N为大于或等于1的正整数,所述统计历史数据库中与第i个字段对应的历史字段的用途,并基于用途统计结果计算所述第i个字段的第一用途推荐值,包括:取j为1至N,统计所述历史数据库中与所述第i个字段具有相同的第j项字段信息的所述历史字段被作为指标的次数以及被作为维度的次数;基于次数统计结果计算所述第i个字段的第j个第二用途推荐值,在处理完所述N项字段信息时,共计算获得N个第二用途推荐值;对所述N个第二用途推荐值进行加权求和运算,获得所述第i个字段的所述第一用途推荐值。4.根据权利要求3所述的数据建模方法,其特征在于,所述N项字段信息包括以下信息中的至少一项:字段名称、字段类型以及字段记录数,其中,所述字段记录数为所述数据表在对字段的字段值进行去重后剩余的记录数。5.根据权利要求4所述的数据建模方法,其特征在于,所述第j项字段信息为所述字段记录数,所述基于次数统计结果计算所述第i个字段的第j个第二用途推荐值,包括...
【专利技术属性】
技术研发人员:何晋平,王纯斌,晏刚,
申请(专利权)人:成都四方伟业软件股份有限公司,
类型:发明
国别省市:四川,51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。