一种基于草图交互的面向多模态数据的可视分析方法和系统技术方案

本发明专利技术公开一种基于草图交互的面向多模态数据的可视分析方法和系统。该方法包括：1)将原始数据集分为多种可视化数据结构；2)进行可视化数据结构与可视形态的匹配；3)根据原始数据集到可视化数据结构到可视形态的映射关系，将原始数据集分解为具有关联的多个信息侧面，每个信息侧面通过一种可视形态呈现于一个视图中，并结合用户选择的布局信息，生成多视角关联视图；4)识别用户根据目标分析需求在多视角关联视图进行草图圈选操作时绘制的草图符号，进而分析由草图符号组成的草图手势的含义，根据草图手势的含义生成新的视图。本发明专利技术基于草图交互辅助用户进行多模态数据的可视分析，能够帮助用户快速获取数据知识，挖掘数据关联规律。

A visual analysis method and system for multi-modal data based on sketch interaction

The invention discloses a visual analysis method and system for multi-modal data based on sketch interaction. The method includes: 1) dividing the original data set into several visual data structures; 2) matching the visual data structure with the visual form; 3) decomposing the original data set into several related information sides according to the mapping relationship from the original data set to the visual data structure to the visual form, and each information side passing through A visual form is presented in a view and combined with the layout information selected by the user, a multi-view associated view is generated; 4) The sketch symbols drawn by the user when the sketch is circled in the multi-view associated view according to the target analysis requirements are recognized, and then the meaning of the sketch gesture composed of the sketch symbols is analyzed, according to the sketch. The meaning of gestures generates new views. The invention is based on sketch interaction to assist users in visual analysis of multi-modal data, which can help users quickly acquire data knowledge and mining data association rules.

【技术实现步骤摘要】
一种基于草图交互的面向多模态数据的可视分析方法和系统
本专利技术属于人机交互领域，具体涉及一种基于草图交互的面向多模态数据的可视分析方法和系统。
技术介绍
我们处在一个信息爆炸的时代，新的数据不断产生，而且产生的速度越来越快，规模越来越大。多模态是指一种信息交流上的社会符号，通过图像、文本、语音、视频等多种数据形式来描述数据信息(Kress,Gunther(2010).Multimodality:ASocialSemioticApproachtoContemporaryCommunication.NewYork:Routledge.p.79.ISBN0415320607.)。在过去几年里,数据量快速增长，而数据的种类也在不断增多，在带给人们丰富的数据资源的同时，也带来了更艰巨的挑战，人们该如何快速理解海量数据中的信息，该如何从海量信息里找到自己所需的信息，都已成为对多模态信息数据进行可视分析的迫切需求。多模态数据的分析难点在于，第一，多模态数据往往都是非结构化的数据，包括直接描述的文本数据、随时间变化的持续性数据、拍摄形成的图像数据等；第二，这些数据之间往往具有内部关联关系，静态展现难以表现出数据的内在复杂结构、关系和规律。随着数字多媒体技术、网络技术的发展，人们从早期的被动接收信息转化为自主选择获取信息，如何帮助用户更加高效地发现和挖掘数据信息，催生出众多的可视分析技术，对多模态数据的可视化展示需要体现出其海量、异构、多源的外部特征以及高维度、多尺度、非平稳的内部特征。由于多模态数据的内部组织结构多样、数据结构复杂、尺度不一致，同时在数据的可视化过程中，受限于二维平面的限制，时间、空间和其他属性数据很难同时在同一个可视化形态中表现出来，将不同类型的数据用统一的方式进行可视化，会带来信息的混乱和缺失(参考文献：TVonLandesberger,AKuijper,TSchreck,Kohlhammer,etal.,VisualAnalysisofLargeGraphs:State-of-the-ArtandFutureResearchChallenges.ComputerGraphicsForum,2011.30(6):p.1719-1749.)。数据的可视分析，需要实现包括数据转换、可视映射、视图转换等多个功能步骤。随着人们通过数据的可视分析来探求数据背后的信息与知识的需求愈发迫切，可视化开发所需的总成本越来越多。草图是人类一种自然而直接的思路外化和交流方式，草图能够使用简单的形状来表达人们抽象的思维意图，基于草图交互的可视分析，可以允许用户通过自然操作挖掘数据的核心信息及信息背后隐藏的规律。通过自由手绘草图的自然交互方式，使用户在进行探索式数据分析时更加流畅自然，通过对多个数据视图的直接操作来直观地探索数据，分析数据内部规律，辅助用户决策。
技术实现思路
本专利技术的目的在于开发实现一种基于草图交互的面向多模态数据的可视分析方法和系统，草图作为一种抽象的形象化语言，可以有效描述用户意图，基于草图交互方式，能够给用户提供自然直观的交互方法，便于用户分析数据间的关联关系，挖掘数据发展规律。本专利技术所实现的功能主要包括多模态数据的信息变换组织方法、多视图关联、数据关联关系挖掘、支持可视图表关联分析的草图交互技术实现等。目标是基于草图交互，从不同角度结合多种可视形态，将数据从不同信息侧面以可视化图表的方式展现出来，降低用户的认知负担，从而便于用户直观全面的了解复杂信息的发展过程。基于草图交互的面向多模态数据的可视分析系统的优势在于：通过可视形态映射，有序实现数据的可视化管理；基于视图关联，便于用户从多角度筛选目标数据，进而观察理解数据特征；支持用户通过自由手绘的草图自然交互方式实现对数据的探索分析。为实现上述专利技术目的，本专利技术采用如下的技术方案：一种基于草图交互的面向多模态数据的可视分析方法，其步骤为：1)将原始数据集分为一维、二维、多维、层次、时序等可视化数据结构，其中可视化数据结构是指能够描述信息可视化中常见抽象信息类型的一类数据结构；2)将原始数据集分类得到的多个可视化数据结构的特征与各类可视形态的常用数据特征进行相似度对比，进而进行可视化数据结构与可视形态的匹配；3)结合1)和2)完成了从原始数据集到可视化数据结构到可视形态的映射过程，每一种可视化数据结构即反映原始数据信息的一个信息侧面，每个信息侧面将通过一种可视形态呈现于一个视图中(以此能根据原始数据集中所包含的空间、时序、维度统计信息等)，从不同的信息侧面做可视化呈现，并结合用户选择的布局信息，生成多视角关联视图；4)识别用户根据目标分析需求在多视角关联视图进行草图圈选操作时绘制的草图符号，进而分析由草图符号组成的草图手势的含义，根据草图手势的含义生成新的视图。进一步地，步骤4)通过对可视化视图中属性的草图圈选操作，实现对信息的动态过滤，产生结果数据，关联更新可视化视图；通过草图符号选取可视化视图的部分区域，实现区域放大；通过草图符号连接一个可视化视图或多个可视化视图的属性信息，生成所选数据的关联回归分析可视化视图，辅助用户获取知识分析数据。进一步的，步骤1)根据原始数据的类别属性、数值属性，结合Shneiderman分类方法(ShneidermanB.Theeyeshaveit:Ataskbydatatypetaxonomyforinformationvisualizations[C]VisualLanguages,1996.Proceedings.IEEESymposiumon.IEEE,1996:336-343)，将原始数据按照结构类型分为一维结构、二维结构、多维结构、层次结构、地理位置结构、时序结构等可视结构类型。以汽车的销量数据集为例，其中包含的时间、销量属性则形成销量的时序可视化数据结构，其中包含的地域信息、销量属性则形成销量的空间可视化数据结构。进一步的，步骤2)将可视化数据结构的特征与可视形态的常用数据特征进行相似度对比，可视形态是指数据最终的不同呈现形式，主要包括统计图(如折线图、柱状图等)、时序图、层次图、地图、网络图等；二者采用余弦相似度作为度量标准，进行可视化结构与可视形态的映射匹配。进一步的，步骤3)根据可视化数据结构与可视形态映射结果，将数据信息分解为具有关联的多个信息侧面，每个信息侧面是目标数据信息的不同方面。例如，在空间层面，每个区域按照地理位置信息，根据用户的目标度量属性进行统计计算，并将结果信息反馈到界面地图上，反映出数据的地理空间分布特征；在时间层面，按照时间的先后顺序依次排列，按照时间点信息统计数据，反映出数据的时序发展特征。生成的多视角关联视图的内部关联性主要体现在，每个视图分别展现数据的不同信息侧面，当一个视图中的一个或多个数据信息被选中时，另外的视图中相应的数据就会根据所选信息进行过滤，产生新的数据信息视图。进一步的，根据多个信息侧面的可视形态和可视形态的空间布局信息，采用Echarts和d3.js实现可视化视图，结合crossfilter.js和dc.js，实现针对同一数据集，不同视图角度间的关联，通过多个具有关联的视图，为多模态数据信息的分析提供多角度的支持，促进用户对可视化信息的认识。进一步的，本文档来自技高网...

【技术保护点】
1.一种基于草图交互的面向多模态数据的可视分析方法，其特征在于，包括以下步骤：1)根据数据信息的特征，将原始数据集分为多种可视化数据结构；2)将可视化数据结构的特征与可视形态的常用数据特征进行相似度对比，进而进行可视化数据结构与可视形态的匹配；3)根据步骤1)、步骤2)形成的原始数据集到可视化数据结构到可视形态的映射关系，将原始数据集分解为具有关联的多个信息侧面，每个信息侧面通过一种可视形态呈现于一个视图中，并结合用户选择的布局信息，生成多视角关联视图；4)识别用户根据目标分析需求在多视角关联视图中绘制的草图符号，进而分析由草图符号组成的草图手势的含义，根据草图手势的含义生成新的视图。

【技术特征摘要】
1.一种基于草图交互的面向多模态数据的可视分析方法，其特征在于，包括以下步骤：1)根据数据信息的特征，将原始数据集分为多种可视化数据结构；2)将可视化数据结构的特征与可视形态的常用数据特征进行相似度对比，进而进行可视化数据结构与可视形态的匹配；3)根据步骤1)、步骤2)形成的原始数据集到可视化数据结构到可视形态的映射关系，将原始数据集分解为具有关联的多个信息侧面，每个信息侧面通过一种可视形态呈现于一个视图中，并结合用户选择的布局信息，生成多视角关联视图；4)识别用户根据目标分析需求在多视角关联视图中绘制的草图符号，进而分析由草图符号组成的草图手势的含义，根据草图手势的含义生成新的视图。2.如权利要求1所述的方法，其特征在于，步骤1)采用Shneiderman分类方法将原始数据集划分为可视化数据结构；不同的可视化数据结构反映数据的不同信息侧面。3.如权利要求1所述的方法，其特征在于，所述多视角关联视图对数据的空间、时序、维度统计做可视化呈现；不同信息侧面反应的数据内容在可视形态的展示上具有相互关联，用户进行可视分析时，针对一个可视视图的操作，通过数据底层的联系，能同时影响相互关联的多个可视视图。4.如权利要求1所述的方法，其特征在于，利用所述多视角关联视图，通过交互调整可视化查询参数，进行动态过滤，满足用户针对的具体目标问题；通过交互进行视图缩放，查看数据信息整体分布或具体细节。5.如权利要求1所述的方法，其特征在于，步骤4)基于草图手势交互进行数据的可视分析；首先识别草图符号，确定其有效性，进而通过区域坐标判断草图手势含义，结合草图自然直观的特性，使用户在交互上具有更大的自由度。6.如权利要求5所述的方法，其特征在于，通过草图手势区域与可视化视图区域的对比，分析草图手势含义，形成草图手势含义结构sketch_mean(id,viewid,operation_type,filter_value,region_value,correlation_value)，其中viewid为草图交互对应的可视化视图的标号；operation_type为草图交互的目标类型，结合用户主要的分析需求，将交互目标主要分为属性过滤、区域放大和关联分析三种；filter_value为二元组，第一部分为过滤的属性列，第二部分为过滤条件即具体的过滤属性值；region_value为四元组，通过区域顶点坐标x,y以及区域宽高width,height进行区域放大；correlation_value为二元组，是进行关联回归分析...

【专利技术属性】
技术研发人员：滕东兴，朱丽，马翠霞，王宏安，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：北京,11