多目标流形数据分析方法、装置、设备及存储介质制造方法及图纸

技术编号:33040298 阅读:35 留言:0更新日期:2022-04-15 09:20
本发明专利技术涉及多目标流形数据分析方法、装置、设备及存储介质。该架构包括:获取多目标流形数据;将多目标流形数据输入预先训练好的流形数据分析模型,得到多目标流形数据的分析结果,流形数据分析模型利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到。根据本发明专利技术实施例,由于流形数据分析模型利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到,使得利用流形数据分析模型,能够很好的分析高维度的流形数据,保证流形数据分析的准确性,可以适用于海量的高维流形数据进行分析,具有很好的推广应用价值。具有很好的推广应用价值。具有很好的推广应用价值。

【技术实现步骤摘要】
多目标流形数据分析方法、装置、设备及存储介质


[0001]本专利技术涉及大数据分析
,尤其涉及多目标流形数据分析方法、装置、设备及存储介质。

技术介绍

[0002]在大数据时代,很多类型的数据受到多维特征的影响,使得数据的复杂度越来越高,可以将复杂度高的数据称为流形数据。例如,电影数据的维度包括制片人维度、拍摄时间维度、结束时间维度、赞助公司维度、演员维度以及上映时间等维度。
[0003]对于海量的流形数据,用户希望高效且准确的分析流形数据。但是,目前的数据分析手段可以对低维度的数据进行有效分析,对于高维度的流形数据的分析准确性极低。
[0004]流形数据分析方法是一种广义的优化求解算法,在流形上的限制条件下,求单位对数似然函数J(θ)的最小值,其中θ为模型参数集。J(θ)定义为:
[0005][0006]其中,y为真实数据观测值,p为模型预测值,ln()表示自然对数函数,<
·
>表示均值函数;λ为常数,w为每组的权重,ρ为信号流形空间,表示组求和函数。
[0007]模型预测值p是真实数据x和参数集θ的函数,根据费米

狄拉克分布函数,可以表示为:
[0008][0009]其中,e表示指数函数,f(x|θ)表示如下:
[0010]f(x|θ)=θ
μ
δ
μ
(x

α
δ
)+o(

)
[0011]其中,x表示真实数据,θ
μ
表示变量参数向量;δ
μ
(x

α
δ
)为狄拉克δ函数构成的行向量(即各变量对应的组参数向量);o(

)表示其他项,如高阶无穷小、或神经网络模型等。
[0012]信号流形空间ρ为分组集δ上的函数,定义为:
[0013][0014]其中,δ表示组,<y>
δ
为真实数据观测值在各分组上的均值,<p>
δ
为模型预测值在各分组上的均值,ln()表示自然对数函数。
[0015]单位对数似然函数J(θ)的梯度向量和海森矩阵分别为:
[0016][0017][0018]其中,μ,v表示变量,δ
μ

μ
表示变量对应的组参数,<
·
>表示均值函数;λ为常数,w为每组的权重,ρ为信号流形空间,表示组求和函数。
[0019]非线性优化问题的迭代解为:
[0020][0021][0022]其中,Δθ
μ
为每次迭代变量参数更新的增量向量,表示的逆矩阵,表示的行向量。Δα
δ
为每次迭代组参数更新的增量向量,β为常数,ln()表示自然对数函数,<
·
>表示均值函数。

技术实现思路

[0023]为了解决上述技术问题或者至少部分地解决上述技术问题,本专利技术提供了多目标流形架构的流形数据分析方法、装置、设备及存储介质。
[0024]第一方面,本专利技术提供了多目标流形数据分析方法,该方法包括:
[0025]获取多目标流形数据;
[0026]将多目标流形数据输入预先训练好的流形数据分析模型,得到
[0027]多目标流形数据的分析结果,流形数据分析模型利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到。
[0028]第二方面,本专利技术提供了多目标流形数据分析装置,该装置包括:
[0029]多目标流形数据获取模块,用于获取多目标流形数据;
[0030]分析结果确定模块,用于将多目标流形数据输入预先训练好的流形数据分析模型,得到多目标流形数据的分析结果,流形数据分析模型利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到。
[0031]第三方面,本专利技术还提供了多目标流形数据分析设备,该设备包括:
[0032]一个或多个处理器;
[0033]存储装置,用于存储一个或多个程序,
[0034]当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现第一方面所提供的流形数据分析方法。
[0035]第四方面,本专利技术实施例还提供了计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现第一方面所提供的流形数据分析方法。
[0036]本专利技术提供的技术方案与现有技术相比具有如下优点:
[0037]本专利技术实施例的多目标流形架构的流形数据分析方法、装置、设备及存储介质,在获取多目标流形数据之后,能够将多目标流形数据输入预先训练好的流形数据分析模型,得到多目标流形数据的分析结果,由于流形数据分析模型利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到,使得利用流形数据分析模型,能够很好的分析高维度的流形数据,保证流形数据分析的准确性,可以适用于海量的高维流形数据进行分析,具有很好的推广应用价值。
附图说明
[0038]此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本专利技术的实施例,并与说明书一起用于解释本专利技术的原理。
[0039]为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0040]图1为本专利技术实施例提供的流形数据分析方法的流程示意图;
[0041]图2为本专利技术实施例提供的另一种流形数据分析方法的详细流程示意图;
[0042]图3为本专利技术实施例提供的流形数据分析装置的结构示意图;
[0043]图4为本专利技术实施例提供的流形数据分析设备的结构示意图;
[0044]图5为本专利技术实施例提供的现场可编程逻辑门阵列的结构示意图。
具体实施方式
[0045]为了能够更清楚地理解本专利技术的上述目的、特征和优点,下面将对本专利技术的方案进行进一步描述。需要说明的是,在不冲突的情况下,本专利技术的实施例及实施例中的特征可以相互组合。
[0046]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术,但本专利技术还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本专利技术的一部分实施例,而不是全部的实施例。
[0047]当今世界的大数据无处不在,呈现形态丰富多彩,包括我们熟悉的文字、图片、音频、视频等。数字化后,数据的基本类型分为整数、浮点和字符,数据储存的形态可以是标量、向量、张量等形式。
[0048]对于海量的流形数据,专利技术人发现,很多事件产生的流行数据都可以转化成非线性优化问本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种多目标流形数据分析方法,其特征在于,包括:获取多目标流形数据;将所述多目标流形数据输入预先训练好的流形数据分析模型,得到所述多目标流形数据的分析结果,所述流形数据分析模型利用样本流形数据和所述样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到。2.根据权利要求1所述的方法,其特征在于,所述流形数据分析模型通过如下步骤训练:获取样本流形数据、所述样本流形数据对应的样本分析序列以及初始分析模型的初始模型参数;基于所述样本流形数据和所述样本分析序列,对所述流形空间内的初始分析模型的初始模型参数进行迭代调整,直至当前调整次数下的当前模型参数稳定,得到用于确定所述多目标流形数据的分析结果的流形数据分析模型。3.根据权利要求2所述的方法,其特征在于,所述基于所述样本流形数据和所述样本分析序列,对所述流形空间内的初始分析模型的初始模型参数进行迭代调整,直至当前调整次数下的当前模型参数稳定,得到用于确定所述多目标流形数据的分析结果的流形数据分析模型,包括:对所述样本流形数据进行分组,得到所述样本流形数据的多个第一样本分组序列;基于各个所述第一样本分组序列中的样本流形数据分别对应的所述初始模型参数,计算所述初始分析模型的预测分析序列;基于所述预测分析序列与所述样本分析序列,对所述初始模型参数进行迭代调整,直至当前调整次数下的当前模型参数稳定,得到用于确定所述多目标流形数据的分析结果的流形数据分析模型。4.根据权利要求3所述的方法,其特征在于,所述对所述样本流形数据进行分组,得到所述样本流形数据的多个第一样本分组序列,包括:基于所述样本流形数据的每个维度的特征,对所述样本流形数据进行排序,得到所述样本流形数据分别对应的第一排序序列;对所述第一排序序列对应的所述样本流形数据进行分组,得到所述样本流形数据的多个第一样本分组序列。5.根据权利要求4所述的方法,其特征在于,所述对所述第一排序序列对应的所述样本流形数据进行分组,得到所述样本流形数据的至少两个第一样本分组序列,包括:基于所述第一排序序列对应的所述样本流形数据的数据量,确定所述样本流形数据的第一分组切分点;根据所述第一分组切分点,对所述第一排序序列对应的所述样本流形数据进行分组,得到所述样本流形数据的至少两个第一样本分组序列。6.根据权利要求4所述的方法,其特征在于,所述对所述第一排序序列对应的所述样本流形数据进行分组,得到所述样本流形数据的至少两个第一样本分组序列,包括:将所述第一排序序列对应的所述样本流形数据输入所述初始分析模型,得到所述样本流形数据对应的预测分析序列;基于所述预测分析序列中的各个预测分析结果对应的概率值,确定所述样本流形数据
的第二分组切分点;根据所述第二分组切分点,对所述第一排序序列对应的所述样本流形数据进行分组,得到所述样本流形数据的至少两个第一样本分组序列。7.根据权利要求3所述的方法,其特征在于,所述基于各个所述第一样本分组序列中的样本流形数据分别对应的所述初始模型参数,计算所述初始分析模型的预测分析序列,包括:基于所述第一样本分组序列,确定所述初始模型参数的初始分组参数;针对每个所述第一样本分组序列,计算所述第一样本分组序列对应的初始分组参数的分组参数和,得到所述初始分析模型的预测分析序列,所述分组参数和为所述第一样本分组序列对应的初始分组参数中所有初始模型参数的和。8.根据权利要求3所述的方法,其特征在于,在所述对所述样本流形数据进行分组,得到所述样本流形数据的多个第一样本分组序列的之后,所述方法还包括:基于所述第一样本分组序列,确定所述样本...

【专利技术属性】
技术研发人员:苗春永谢志峰蔡卓然单洪泷
申请(专利权)人:上海大象张量纳米科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1