基于神经网络模型的大规模数据沿袭方法技术

本发明专利技术公开一种基于神经网络模型的大规模数据沿袭方法，包括以下步骤：(1)生成网络训练集；包括数组排序、维度标准划分和训练子集划分；根据数据集中不同维度中的值对数据集中的数据进行排序；为每个维度确定一个划分标准以解决样本穷举问题；将训练集分为许多较小的训练子集；(2)训练神经网络模型；使用分层的网络结构代替传统的神经网络结构，以解决由于样本数据差别较大造成的误差问题；分层结构具体包括网络选择器和子网两大部分；(3)可视交互与沿袭；具体包括空间散点图、时空投影视图和模式对比视图；用于对数据集进行可视化交互探索，使用可视化的方式方便用户对数据结果进行探索；并允许用户通过沿袭的方式探索数据来源。

【技术实现步骤摘要】
基于神经网络模型的大规模数据沿袭方法
本专利主要涉及机器学习和数据可视化领域，具体涉及对大规模数据集的实时交互及神经网络模型优化的方法。
技术介绍
近年来研究人员面对的数据集所包含的数据量级呈指数型增长[4]，这无疑给交互式可视化探索与沿袭带来了麻烦。最近提出的技术使分析人员可以实时地交互式地探索大规模数据集[5]，但是这些技术忽略了人们可能关心隐藏在统计数据分布背后的真实数据[10]。我们从可视化实现了数据的反向生成，因此视觉视图将不再局限于显示数据的统计信息，它还可以用作生成更复杂的视觉视图的数据，或者探索视图子集中数据的详细分布。关于数据沿袭的研究已经在数据库领域进行了一段时间[7]。传统方法通过扩展基本数据模型来捕获源信息[9]，由此带来的缺点是显而易见的：必须使用与实际数据不同的模型来存储访问源。Miles等人[8]提出，由数据产生的产品和描述可能隐藏结果的来源以及如何产生结果的细节，他们研究并讨论了数据来源如何可以帮助科学家进行实验。BorisGlavic等人[6]提出了使用查询重写为源元组标注结果元组的方法，并在数据库中证本文档来自技高网...

【技术保护点】
1.基于神经网络模型的大规模数据沿袭方法，其特征在于，包括以下步骤：/n(1)生成网络训练集；包括数组排序、维度标准划分和训练子集划分；根据数据集中不同维度中的值对数据集中的数据进行排序并存储；为每个维度确定一个划分标准以解决样本穷举问题；并将训练集分为若干个子集，作为训练子集；/n(2)训练神经网络模型；使用分层的网络结构代替传统的神经网络结构，以解决由于样本数据差别大造成的误差问题；分层的网络结构具体包括网络选择器和子网两大部分，使用网络选择器作为第一层，其作用是为查询找到正确的对应子网；对于每一个子网，使用训练子集分别进行训练；/n(3)可视交互与沿袭；将神经网络的输出结果映射为若干种视...

【技术特征摘要】
1.基于神经网络模型的大规模数据沿袭方法，其特征在于，包括以下步骤：
(1)生成网络训练集；包括数组排序、维度标准划分和训练子集划分；根据数据集中不同维度中的值对数据集中的数据进行排序并存储；为每个维度确定一个划分标准以解决样本穷举问题；并将训练集分为若干个子集，作为训练子集；
(2)训练神经网络模型；使用分层的网络结构代替传统的神经网络结构，以解决由于样本数据差别大造成的...

【专利技术属性】
技术研发人员：李杰，叶一舟，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12