当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于约束的数据整理脚本输入输出空间可视化方法技术

技术编号:43967537 阅读:18 留言:0更新日期:2025-01-10 19:57
本发明专利技术公开了一种基于约束的数据整理脚本输入输出空间可视化方法,包括以下步骤:利用数据表约束生成器生成数据整理脚本的输入输出表的约束空间;对输入输出表的约束空间进行可视化;支持对输入输出表的约束空间进行修改,以对齐原始数据或是下游任务的需求,在修改约束空间后,将再次调用数据表约束生成器生成新的输入输出表的约束空间;检测约束间的冲突、数据与约束间的冲突,并进行冲突定位,这样能够提升用户理解,调试脚本的效率,并且能够通过约束帮助用户发现隐藏的,不易发现的错误,提升脚本的鲁棒性。

【技术实现步骤摘要】

本专利技术属于数据可视化、程序可视化以及人机交互的,具体涉及一种基于约束的数据整理脚本输入输出空间可视化方法


技术介绍

1、在大数据时代,每天都会产生海量的数据。这些原始数据通常格式杂乱无章,数据内容混乱,需要经过转换和清洗,以满足诸如可视化分析、机器学习和数据挖掘等下游任务的需求。数据整理是将数据转换为下游任务预期格式和内容的过程,用户常需要根据任务需求对原始数据进行数据整理任务。数据工作者通常通过编写脚本来完成数据整理任务。常用的脚本语言包括python和r,配合相应的函数库,如pandas和tidyverse。

2、数据工作者为了提升完成数据整理任务的效率,通常会复用已有的数据整理脚本。这些数据整理脚本可能来源于自己过去编写的,或是从代码仓库或技术博客中获取他人编写的脚本。此外,现有的不少数据工作者会选择将自己的需求提供给大语言模型,让其生成相应的数据整理脚本。在复用脚本之前,数据工作者首先需要理解所选用的脚本,判断其是否能处理当前需要整理的数据,以及脚本的输出能否满足下游任务的需求。

3、尽管部分数据整理脚本在代码仓库或技本文档来自技高网...

【技术保护点】

1.一种基于约束的数据整理脚本输入输出空间可视化方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于约束的数据整理脚本输入输出空间可视化方法,其特征在于,所述数据表约束生成器包括输入表空间约束构建模块、输出表空间约束构建模块、约束反向传播模块、以及约束反向构建模块,基于这四个模块生成输入输出表的约束空间;

3.根据权利要求1所述的基于约束的数据整理脚本输入输出空间可视化方法,其特征在于,对输入输出表的约束空间进行可视化,包括可视化约束图标、约束标签、以及数据范围多层条形图,其中,约束图标用来表示数据类型、数据排序、数据内的缺失值、以及数据内的重复值;数据...

【技术特征摘要】

1.一种基于约束的数据整理脚本输入输出空间可视化方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于约束的数据整理脚本输入输出空间可视化方法,其特征在于,所述数据表约束生成器包括输入表空间约束构建模块、输出表空间约束构建模块、约束反向传播模块、以及约束反向构建模块,基于这四个模块生成输入输出表的约束空间;

3.根据权利要求1所述的基于约束的数据整理脚本输入输出空间可视化方法,其特征在于,对输入输出表的约束空间进行可视化,包括可视化约束图标、约束标签、以及数据范围多层条形图,其中,约束图标用来表示数据类型、数据排序、数据内的缺失值、以及数据内的重复值;数据标签表示所有的约束类型;数据范围多层条形图用来表示数据范围。

4.根据权利要求3所述的基于约束的数据整理脚本输入输出空间可视化方法,其特征在于,所述约束类型包括数据类型、数据范围、数据格式、数据排序、数据内的特殊值、数据内的重复值、数据内的缺失值、数据间的比较关系、数据间的派生关系、以及数据间的联合关系。

5.根据...

【专利技术属性】
技术研发人员:巫英才翁荻罗中粟熊凯
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1