时序数据支配集信息提取方法技术

时序数据支配集信息提取方法，属于互联网、物联网信息提取领域。解决了现有时序数据提取方法难于满足大规模存储以及高实时性的信息提取需求的问题。首先，在海量用户大数据中选定具有支配能力的用户，其它用户作为具有支配能力的用户的关联用户，建立支配用户到关联用户的变换函数I；然后，面对持续采集的用户时序数据，存储作为小数据的支配用户数据，并对变换函数I进行动态更新；通过支配用户数据以及更新后的变换函数I，提取满足用户要求的关联用户的数据信息，从而实现在支配用户数据所代表的小数据中，提取关联用户数据所代表的大数据信息。主要应用在互联网、物联网等信息提取相关领域。

【技术实现步骤摘要】
时序数据支配集信息提取方法
本专利技术属于互联网、物联网信息提取领域。
技术介绍
目前以大规模实时数据为基础的时序数据处理逐渐成为互联网、物联网等信息
的关键问题，其处理过程为时序数据采集、存储以及信息提取，具体参见图1。面对持续到达的海量时序数据,数据处理系统必须快速对其进行响应并及时提取信息，才能保证信息服务质量。时序数据信息提取涉及到气象、环保监测，供电、供水、供热系统的信息采集，股票、期货市场的交易信息分析系统，以及工业过程检测应用系统等国民经济诸多行业与相关领域，已成为各相关行业大数据信息处理的突出问题。传统处理方法是采集并存储全部用户的时序数据，根据请求提取用户信息。但是，难于满足大规模存储以及高实时性的信息提取的需求。因此，上述问题亟需解决。
技术实现思路
本专利技术是为了解决现有时序数据提取方法难于满足大规模存储以及高实时性的信息提取需求的问题，本专利技术提供了一种时序数据支配集信息提取方法。时序数据支配集信息提取方法，该方法包括如下过程：首先，在海量用户大数据中选定具有支配能力的用户，其它用户作为具有支配能力的用户的关联用户，建立支配用户到关联用户的变换函数I；其中，支配用户为具有支配能力的用户；然后，面对持续采集的用户时序数据，存储作为小数据的支配用户数据，并对变换函数I进行动态更新；最后，通过支配用户数据以及更新后的变换函数I，提取满足用户要求的关联用户的数据信息，从而实现在支配用户数据所代表的小数据中，提取关联用户数据所代表的大数据信息。优选的是，在海量用户大数据中选定具有支配能力的用户的具体过程是通过时序数据向量之间的线性相关性来实现具有支配能力的用户的选定。优选的是，建立支配用户到关联用户的变换函数I的具体过程为：步骤一，在n个用户的时序数据集合X中，按顺序依次选定线性独立的支配用户样本向量λ，并根据支配用户样本向量λ获得支配用户序偶向量ρ；其中，ρ＝(u,λ)，且u为公共用户样本向量；步骤二，通过约束条件遍历作为目标对象的时序数据集合X，识别时序数据集合X中符合约束条件的关联用户样本向量s；其中，δ＝(u,s)，且δ为关联用户序偶向量；步骤三，根据支配用户样本向量λ及关联用户样本向量s形成对应变换函数I的变换矩阵(A，B)；其中，A为系数矩阵；B为偏差矩阵；步骤四，根据变换矩阵(A，B)及支配用户序偶向量ρ获得变换函数I，变换函数I为δ＝Aρ+B。步骤一中，按顺序依次选定线性独立的支配用户样本向量λ的具体过程，采用允许误差ε作为约束条件，在仿射线性相关性测度或最小二乘线性相关性测度下，实现支配用户样本向量λ的信息提取。多用户的海量数据虽然体量大，但是往往同类用户之间存在较大的相关性，可以选取同类用户中选择具备代表性的支配用户，将海量用户数据处理问题，包括存储、信息提取等，转换为小规模的支配用户数据处理问题。本专利技术带来的有益效果是，本专利技术的目的是根据用户数据处理需求,转换大规模时序数据处理问题为小规模数据问题，要解决的问题是在海量时序数据采集中，抽取具有代表性的少量数据作为支配数据集,然后以支配集数据完成时序数据存储、信息提取。本专利技术要达到的性能与指标：●小规模，采集远远小于系统用户规模的小规模支配用户时序数据在线存储；●准确性，满足全体用户时序数据的信息提取精度指标；●实时性，保证信息采集与数据处理(包括存储、信息提取)的实时性。本专利技术时序数据信息提取应用到气象、环保监测，供电、供水、供热系统的信息采集，股票、期货市场的交易信息分析系统，以及工业过程检测应用系统等国民经济诸多行业与相关领域。附图说明图1为时序数据采集、存储以及信息提取的原理示意图；图2为本专利技术所述时序数据支配集信息提取方法的流程图。具体实施方式具体实施方式一：参见图2说明本实施方式，本实施方式所述时序数据支配集信息提取方法，该方法包括如下过程：首先，在海量用户大数据中选定具有支配能力的用户，其它用户作为具有支配能力的用户的关联用户，建立支配用户到关联用户的变换函数I；其中，支配用户为具有支配能力的用户；然后，面对持续采集的用户时序数据，存储作为小数据的支配用户数据，并对变换函数I进行动态更新；最后，通过支配用户数据以及更新后的变换函数I，提取满足用户要求的关联用户的数据信息，从而实现在支配用户数据所代表的小数据中，提取关联用户数据所代表的大数据信息。本实施方式中，支配用户的信息可直接在存储器上提取；关联用户的信息，根据支配用户到关联用户的变换函数I直接计算提取信息。本专利技术方法在时序数据处理中，可以大大减少数据存储规模，满足信息提取的准确性，不影响实时性代价。本实施方式中，对变换函数I进行动态更新，可通过现有技术实现，例如：本专利技术对于n个用户m个时间戳的时序数据集Xm×n,随着时间的延续，则m＞＞n。利用仿射线性关系建立递推函数F(Im)，实现线性变换函数I的动态更新计算Im+1＝F(Im)。本专利技术信息提取的变换函数I的计算，和变换函数I更新的计算都是常数级时间复杂度O(1)，所以不增加计算负担，不影响实时性。本专利技术中，大数据和小数据二者是相对而言。具体实施方式二：参见图2说明本实施方式，本实施方式与具体实施方式一所述的时序数据支配集信息提取方法的区别在于，在海量用户大数据中选定具有支配能力的用户的具体过程是通过时序数据向量之间的线性相关性来实现具有支配能力的用户的选定。具体实施方式三：参见图2说明本实施方式，本实施方式与具体实施方式一所述的时序数据支配集信息提取方法的区别在于，所述支配用户到关联用户的变换函数I为：I:δ＝Aρ+B；其中，ρ＝(u,λ)，且ρ为支配用户序偶向量；δ＝(u,s)，且δ为关联用户序偶向量；A为系数矩阵；B为偏差矩阵；u为公共用户样本向量；λ为支配用户样本向量；s为关联用户样本向量。具体实施方式四：参见图2说明本实施方式，本实施方式与具体实施方式二所述的时序数据支配集信息提取方法的区别在于，建立支配用户到关联用户的变换函数I的具体过程为：步骤一，在n个用户的时序数据集合X中，按顺序依次选定线性独立的支配用户样本向量λ，并根据支配用户样本向量λ获得支配用户序偶向量ρ；其中，ρ＝(u,λ)，且u为公共用户样本向量；步骤二，通过约束条件遍历作为目标对象的时序数据集合X，识别时序数据集合X中符合约束条件的关联用户样本向量s；其中，δ＝(u,s)，且δ为关联用户序偶向量；步骤三，根据支配用户样本向量λ及关联用户样本向量s形成对应变换函数I的变换矩阵(A，B)；其中，A为系数矩阵；B为偏差矩阵；步骤四，根据变换矩阵(A，B)及支配用户序偶向量ρ获得变换函数I，变换函数I为δ＝Aρ+B。具体实施方式五：参见图2说明本实施方式，本实施方式与具体实施方式四述的时序数据支配集信息提取方法的区别在于，步骤一中，按顺序依次选定线性独立的支配用户样本向量λ的具体过程，采用允许误差ε作为约束条件，在仿射线性相关性测度或最小二乘线性相关性测度下，实现支配用户样本向量λ的信息提取。本专利技术通过用电量监测真实数据集合上的实验，分析所提出的支配集的选择以及信息提取方法的有效性和性能。通过实验来分析采用允许误差ε作为约束条件，在仿射线性相关性测度或最小二乘线性相关性测度下，实现支配集信息提取。具体应用：1.实验用p本文档来自技高网...

【技术保护点】
1.时序数据支配集信息提取方法，其特征在于，该方法包括如下过程：首先，在海量用户大数据中选定具有支配能力的用户，其它用户作为具有支配能力的用户的关联用户，建立支配用户到关联用户的变换函数I；其中，支配用户为具有支配能力的用户；然后，面对持续采集的用户时序数据，存储作为小数据的支配用户数据，并对变换函数I进行动态更新；最后，通过支配用户数据以及更新后的变换函数I，提取满足用户要求的关联用户的数据信息，从而实现在支配用户数据所代表的小数据中，提取关联用户数据所代表的大数据信息。

【技术特征摘要】
1.时序数据支配集信息提取方法，其特征在于，该方法包括如下过程：首先，在海量用户大数据中选定具有支配能力的用户，其它用户作为具有支配能力的用户的关联用户，建立支配用户到关联用户的变换函数I；其中，支配用户为具有支配能力的用户；然后，面对持续采集的用户时序数据，存储作为小数据的支配用户数据，并对变换函数I进行动态更新；最后，通过支配用户数据以及更新后的变换函数I，提取满足用户要求的关联用户的数据信息，从而实现在支配用户数据所代表的小数据中，提取关联用户数据所代表的大数据信息。2.根据权利要求1所述的时序数据支配集信息提取方法，其特征在于，在海量用户大数据中选定具有支配能力的用户的具体过程是通过时序数据向量之间的线性相关性来实现具有支配能力的用户的选定。3.根据权利要求1所述的时序数据支配集信息提取方法，其特征在于，所述支配用户到关联用户的变换函数I为：I:δ＝Aρ+B；其中，ρ＝(u,λ)，且ρ为支配用户序偶向量；δ＝(u,s)，且δ为关联用户序偶向量；A为系数矩阵；B为偏差矩阵；u为公共用户样本向量；λ为支配用户...

【专利技术属性】
技术研发人员：伍一，
申请(专利权)人：黑龙江大学，
类型：发明
国别省市：黑龙江,23