一种主题数据集的构建方法、设备及介质技术

技术编号:40384027 阅读:29 留言:0更新日期:2024-02-20 22:19
本申请公开了一种主题数据集的构建方法、设备及介质,其中方法包括:接收来自于用户的主题数据集构建请求,并获取数据筛选需求;对数据筛选需求进行解析,以得到不同字段类型的解析内容;基于解析内容,创建解析内容配置表;基于解析内容配置表以及预设数据库语句模板,生成目标数据库语句;通过目标数据库语句,构建主题数据集。围绕维度类和量化类字段对数据需求筛选条件进行解析,将解析内容按照规则存入配置表,再结合模板化的SQL进行主题数据集的构建。通过此方法,可以快速响应数据需求。该方法配置与代码分离的形式,具有可复用性,减少了数据开发工作中的开发量,同时也比较利于维护,具有很好的推广应用价值。

【技术实现步骤摘要】

本申请涉及数据匹配领域,具体涉及一种主题数据集的构建方法、设备及介质


技术介绍

1、主题数据集是一种针对特定主题或任务的数据集合,广泛应用于机器学习、数据挖掘分析、决策支持等领域。以电商数据分析领域为例,数据团队往往需要根据有价值的社会热点快速出具分析报告,因此需要从数据仓库中海量的数据内获取对应主题的历史数据用于支撑报告观点。

2、现有的数据处理方法通常是根据需求文档中的筛选条件逐一转化为对应的sql语句,然后手动执行这些sql语句来获取所需的数据。然而,这种方法在需要快速响应数据需求的情况下往往效率低下,而且不利于后期维护。


技术实现思路

1、为了解决上述问题,本申请提出了一种主题数据集的构建方法、设备及介质,其中方法包括:

2、接收来自于用户的主题数据集构建请求,并获取数据筛选需求;对所述数据筛选需求进行解析,以得到不同字段类型的解析内容;基于所述解析内容,创建解析内容配置表;基于所述解析内容配置表以及预设数据库语句模板,生成目标数据库语句;通过所述目标数据库语句,构建主题数据本文档来自技高网...

【技术保护点】

1.一种主题数据集的构建方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述字段类型包括维度字段以及量化字段;

3.根据权利要求2所述的方法,其特征在于,所述对所述数据筛选需求进行解析,以得到不同字段类型的解析内容,具体包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述解析内容,创建解析内容配置表,具体包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述解析内容,确定所述数据筛选需求对应的配置表内容之后,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述基于所述解析内容配置...

【技术特征摘要】

1.一种主题数据集的构建方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述字段类型包括维度字段以及量化字段;

3.根据权利要求2所述的方法,其特征在于,所述对所述数据筛选需求进行解析,以得到不同字段类型的解析内容,具体包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述解析内容,创建解析内容配置表,具体包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述解析内容,确定所述数据筛选需求对应的配置表内容之后,所述方...

【专利技术属性】
技术研发人员:郑敏单震
申请(专利权)人:浪潮卓数大数据产业发展有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1