System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于云计算以及量化数据处理,具体涉及一种基于云计算的量化数据处理方法。
技术介绍
1、量化数据一般是指用数值表示的数据,在各行各业中都存在量化数据。通常,为了提升企业生产的效率,常常会由专门的职能部门对量化数据进行分析(例如,对生产过程中设备运行参数进行采集,以分析生产是否异常;又例如,对海量交易数据进行分类,从而可以使工作人员根据分类类别能够快速进行决策以及策略优化),从而实现数据分类或者产生决策建议,以辅助领导进行生产调度决策,或者实现生产参数优化。
2、但是,采用职能部门对量化数据进行分析,不仅仅存在效率低下的问题,还会因为人员的差异,导致最终的数据分类、分析结果不同。
技术实现思路
1、本专利技术提供一种基于云计算的量化数据处理方法,用以解决现有技术中存在的问题。
2、一种基于云计算的量化数据处理方法,包括:
3、通过网络爬虫爬取目标数据源中的量化数据,对爬取的量化数据进行预处理,得到预处理之后的量化数据,并将预处理之后的量化数据存储于云服务器中;
4、在云服务器中构建量化数据分析模型,并采用多层次搜索算法对量化数据分析模型进行参数优化,得到优化之后的量化数据分析模型,并将优化之后的量化数据分析模型部署于云服务器上;
5、调度云服务器上部署的量化数据分析模型对预处理之后的量化数据进行分析处理,得到基于云计算的量化数据处理结果。
6、进一步地,通过网络爬虫爬取目标数据源中的量化数据,对爬取的量化
7、通过网络爬虫爬取目标数据源中的量化数据,对爬取的量化数据进行缺失值处理、异常值处理以及归一化处理,得到初始处理之后的量化数据;
8、将初始化之后的量化数据统一存储为预设数据结构,得到预处理之后的量化数据,并将预处理之后的量化数据存储于云服务器中。
9、进一步地,在云服务器中构建量化数据分析模型,包括:构建深度学习模型,并将构建的深度学习模型作为量化数据分析模型。
10、进一步地,采用多层次搜索算法对量化数据分析模型进行参数优化,得到优化之后的量化数据分析模型,并将优化之后的量化数据分析模型部署于云服务器上,包括:
11、初始化量化数据分析模型的模型参数,得到模型参数向量,并重复获取多个模型参数向量,得到种群;
12、获取历史数据以及历史数据对应的标签数据,并采用历史数据以及历史数据对应的标签数据,获取每个模型参数向量对应的适应度值;
13、针对每个模型参数向量,采用固定视野以及自适应步长的局部搜索方法对模型参数向量进行局部搜索,并根据模型参数向量对应的适应度值对局部搜索过程进行控制,获取局部搜索之后的模型参数向量;
14、针对局部搜索之后的模型参数向量,采用变动视野的全局平衡搜索方法对模型参数向量进行平衡搜索,并根据模型参数向量对应的适应度值对平衡搜索过程进行控制,获取平衡搜索之后的模型参数向量;
15、针对平衡搜索之后的模型参数向量,采用种群信息融合的全局搜索方法对模型参数向量进行全局搜索,并根据模型参数向量对应的适应度值对全局搜索过程进行控制,获取全局搜索之后的模型参数向量;
16、针对全局搜索之后的模型参数向量,重新获取模型参数向量的适应度值,并根据适应度值获取个体扩展数量;
17、根据个体扩展数量,采用正态分布方法产生多个新模型参数向量,并将新模型参数向量与全局搜索之后的模型参数向量进行融合,再采用优胜劣汰的方法抉择出新种群;
18、针对新种群,获取每个模型参数向量对应的适应度值,并根据每个模型参数向量对应的适应度值获取最优模型参数向量;
19、判断是否满足算法终止条件,若是,则输出最优模型参数向量,否则返回局部搜索的步骤;
20、将输出的最优模型参数向量作为量化数据分析模型的最终模型参数,得到优化之后的量化数据分析模型,并将优化之后的量化数据分析模型部署于云服务器上。
21、进一步地,针对每个模型参数向量,采用固定视野以及自适应步长的局部搜索方法对模型参数向量进行局部搜索,并根据模型参数向量对应的适应度值对局部搜索过程进行控制,获取局部搜索之后的模型参数向量,包括:
22、针对每个模型参数向量,生成一个随机向量为:(δxi,1,δxi,2,....,δxi,d,...,δxi,d),其中,δxi,d表示第i个模型参数向量中第d维参数对应的随机参数,i=1,2,…,l,l表示模型参数向量的总数,d=1,2,…,d,d表示模型参数向量中参数总维度,且δxi,d按各0.5的概率随机为αt或者-αt,αt表示第t次优化过程中的自适应步长;
23、获取第i个模型参数向量的伪梯度为:
24、
25、其中,表示第i个模型参数向量中第d维参数对应的为梯度,f(*)表示适应度函数,表示第t次优化过程中的第i个模型参数向量,表示随机向量;
26、根据预设固定视野β0获取第t+1次优化过程中的自适应步长αt+1,并根据自适应步长αt+1以及第i个模型参数向量的伪梯度对第i个模型参数向量进行局部搜索为:
27、
28、其中,表示第t次优化过程中的第i个模型参数向量中第d维参数,表示对应的局部搜索值;
29、判断局部搜索之后的第i个模型参数向量对应的适应度是否增大,若是,则接受该局部搜索,得到局部搜索之后的模型参数向量,否则直接将原有的模型参数向量作为局部搜索之后的模型参数向量。
30、进一步地,根据预设固定视野β0获取第t+1次优化过程中的自适应步长αt+1为:
31、
32、其中,α0表示初始步长,π表示圆周率,t表示最大优化次数。
33、进一步地,针对局部搜索之后的模型参数向量,采用变动视野的全局平衡搜索方法对模型参数向量进行平衡搜索,并根据模型参数向量对应的适应度值对平衡搜索过程进行控制,获取平衡搜索之后的模型参数向量,包括:
34、以当前优化次数t为基础,获取变动视野为:
35、
36、其中,βt表示第t次优化过程中的变动视野,βt+1表示第t+1次优化过程中的变动视野,且变动视野初始值为β0,e表示自然常数;
37、根据变动视野βt+1,获取平衡搜索范围为:
38、
39、
40、其中,lbi,d表示第i个模型参数向量中第d维参数的平衡搜索下界,ubi,d表示第i个模型参数向量中第d维参数的平衡搜索上界,表示局部搜索之后的第i个模型参数向量中第d维参数;
41、根据平衡搜索范围,对局部搜索之后的模型参数向量进行平衡搜索为:
42、
43、其中,rand(0,1)表示(0,1)之间的随机数,表示平衡搜索之后的
本文档来自技高网...【技术保护点】
1.一种基于云计算的量化数据处理方法,其特征在于,包括:
2.根据权利要求1所述的基于云计算的量化数据处理方法,其特征在于,通过网络爬虫爬取目标数据源中的量化数据,对爬取的量化数据进行预处理,得到预处理之后的量化数据,并将预处理之后的量化数据存储于云服务器中,包括:
3.根据权利要求2所述的基于云计算的量化数据处理方法,其特征在于,在云服务器中构建量化数据分析模型,包括:构建深度学习模型,并将构建的深度学习模型作为量化数据分析模型。
4.根据权利要求3所述的基于云计算的量化数据处理方法,其特征在于,采用多层次搜索算法对量化数据分析模型进行参数优化,得到优化之后的量化数据分析模型,并将优化之后的量化数据分析模型部署于云服务器上,包括:
5.根据权利要求4所述的基于云计算的量化数据处理方法,其特征在于,针对每个模型参数向量,采用固定视野以及自适应步长的局部搜索方法对模型参数向量进行局部搜索,并根据模型参数向量对应的适应度值对局部搜索过程进行控制,获取局部搜索之后的模型参数向量,包括:
6.根据权利要求5所述的基于云计算的量化
7.根据权利要求6所述的基于云计算的量化数据处理方法,其特征在于,针对局部搜索之后的模型参数向量,采用变动视野的全局平衡搜索方法对模型参数向量进行平衡搜索,并根据模型参数向量对应的适应度值对平衡搜索过程进行控制,获取平衡搜索之后的模型参数向量,包括:
8.根据权利要求7所述的基于云计算的量化数据处理方法,其特征在于,针对平衡搜索之后的模型参数向量,采用种群信息融合的全局搜索方法对模型参数向量进行全局搜索,并根据模型参数向量对应的适应度值对全局搜索过程进行控制,获取全局搜索之后的模型参数向量,包括:
9.根据权利要求8所述的基于云计算的量化数据处理方法,其特征在于,针对全局搜索之后的模型参数向量,重新获取模型参数向量的适应度值,并根据适应度值获取个体扩展数量为:
10.根据权利要求9所述的基于云计算的量化数据处理方法,其特征在于,根据个体扩展数量,采用正态分布方法产生多个新模型参数向量,并将新模型参数向量与全局搜索之后的模型参数向量进行融合,再采用优胜劣汰的方法抉择出新种群,包括:
...【技术特征摘要】
1.一种基于云计算的量化数据处理方法,其特征在于,包括:
2.根据权利要求1所述的基于云计算的量化数据处理方法,其特征在于,通过网络爬虫爬取目标数据源中的量化数据,对爬取的量化数据进行预处理,得到预处理之后的量化数据,并将预处理之后的量化数据存储于云服务器中,包括:
3.根据权利要求2所述的基于云计算的量化数据处理方法,其特征在于,在云服务器中构建量化数据分析模型,包括:构建深度学习模型,并将构建的深度学习模型作为量化数据分析模型。
4.根据权利要求3所述的基于云计算的量化数据处理方法,其特征在于,采用多层次搜索算法对量化数据分析模型进行参数优化,得到优化之后的量化数据分析模型,并将优化之后的量化数据分析模型部署于云服务器上,包括:
5.根据权利要求4所述的基于云计算的量化数据处理方法,其特征在于,针对每个模型参数向量,采用固定视野以及自适应步长的局部搜索方法对模型参数向量进行局部搜索,并根据模型参数向量对应的适应度值对局部搜索过程进行控制,获取局部搜索之后的模型参数向量,包括:
6.根据权利要求5所述的基于云计算的量化数据处理方法,其特征在...
【专利技术属性】
技术研发人员:陈家馨,
申请(专利权)人:深圳世纪前沿量化科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。