System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于数据处理,具体涉及一种基于机器学习的教育资源治理方法。
技术介绍
1、目前,随着计算机的普及和教育资源领域的不断进步,越来越多的人们采用网络教学平台进行自我学习和自我价值的提升。因此远程教育培训系统得到了大家的广泛应用,它突破了传统面授课教学模式的局限性,为学生和老师提供了更加自由和广阔的教育学习空间。教育资源通常是指用于教育领域的文字数据、视频数据、图像数据以及语音数据等等,通常针对文字数据比较容易进行资源治理,而视频数据、图像数据以及语音数据难以直接分析,因此只能够通过人工进行数据的治理,然而教育资源数据量较大,人工治理实施难度较大且效率较低。
技术实现思路
1、本专利技术提供一种基于机器学习的教育资源治理方法,用以解决现有技术中存在的技术问题。
2、一种基于机器学习的教育资源治理方法,包括:
3、从至少一个目标数据源中采集目标教育资源数据,并对所述目标教育资源数据进行预处理,得到预处理之后的目标教育资源数据;
4、通过机器学习算法对预处理之后的目标教育资源数据进行特征提取以及特征识别,得到目标教育资源数据所对应的特征识别结果;
5、通过机器学习算法对预处理之后的目标教育资源数据进行异常识别,得到目标教育资源数据所对应的异常识别结果;
6、根据所述目标教育资源数据所对应的特征识别结果以及异常识别结果,对目标教育资源数据进行数据治理,完成基于机器学习的教育资源治理。
7、进一步地,从至少一个目标
8、通过网络爬虫或者api接口从至少一个目标数据源中采集目标教育资源数据,并对所述目标教育资源数据进行数据去重处理、数据过滤处理以及数据修正处理,得到预处理之后的目标教育资源数据。
9、进一步地,所述数据去重处理,包括:对采集的目标教育资源数据中的重复数据仅保留一份,其余删除;
10、所述数据过滤处理,包括:按照预设规则对目标教育资源数据进行过滤操作,滤除不符合要求的数据;
11、所述数据修正处理,包括:当目标教育资源数据与预设数据模板不匹配时,对目标教育资源数据进行补全操作以及归一化操作,以使目标教育资源数据与预设数据模板匹配。
12、进一步地,通过机器学习算法对预处理之后的目标教育资源数据进行特征提取以及特征识别,得到目标教育资源数据所对应的特征识别结果,包括:
13、通过机器学习算法构建第一机器学习模型,并采用优化算法对第一机器学习模型进行优化之后,采用优化之后的第一机器学习模型对预处理之后的目标教育资源数据进行特征提取以及特征识别,得到目标教育资源数据所对应的特征识别结果。
14、进一步地,通过机器学习算法对预处理之后的目标教育资源数据进行异常识别,得到目标教育资源数据所对应的异常识别结果,包括:
15、通过机器学习算法构建第二机器学习模型,并采用优化算法对第二机器学习模型进行优化之后,采用优化之后的第二机器学习模型对预处理之后的目标教育资源数据进行异常识别,得到目标教育资源数据所对应的异常识别结果。
16、进一步地,采用优化算法对第一机器学习模型进行优化与采用优化算法对第二机器学习模型进行优化的过程相同,且均包括:
17、对待优化的机器学习模型的超参数进行多次随机初始化,得到多个超参数个体;所述待优化的机器学习模型为第一机器学习模型以及第二机器学习模型;
18、获取每个超参数个体对应的适应度,并根据每个超参数个体对应的适应度选出最优超参数个体;
19、根据所述最优超参数个体以及每个超参数个体对应的适应度,对每个超参数个体进行更新,得到一次更新后的超参数个体;
20、采用螺旋引导策略对一次更新后的超参数个体进行二次更新,得到二次更新后的超参数个体;
21、根据所述最优超参数个体,采用全局跳跃策略对二次更新后的超参数个体进行三次更新,得到三次更新后的超参数个体;
22、当到达最大优化次数之前,重复执行一次更新、二次更新以及三次更新,直至达到最大优化次数,则根据三次更新后的超参数个体重新确定最优超参数个体,并输出最优超参数个体作为待优化的机器学习模型所对应的最终超参数,完成机器学习模型的优化。
23、进一步地,根据所述最优超参数个体以及每个超参数个体对应的适应度,对每个超参数个体进行更新,得到一次更新后的超参数个体,包括:
24、根据超参数个体对应的适应度,确定超参数个体所对应的更新参数为:
25、
26、其中,表示第 t次优化过程中第 i个超参数个体所对应的更新参数, i=1,2,…,i,i表示超参数个体的总数,表示第一中间参数,,表示最大优化次数,表示第 t次优化过程中第 i个超参数个体所对应的适应度,表示第 t次优化过程中第二中间参数,,表示第 t-1次优化过程中第二中间参数,=0.01,t表示最大优化次数;
27、针对第 t次优化过程中第 i个超参数个体,为其随机匹配一个用于更新的目标个体为;
28、根据所述最优超参数个体、更新参数以及目标个体,对第 i个超参数个体更新为:
29、
30、其中,表示[0,1]之间服从均匀分布的随机数,表示最优超参数个体,表示第 i个超参数个体,表示一次更新后的第 i个超参数个体。
31、进一步地,采用螺旋引导策略对一次更新后的超参数个体进行二次更新,得到二次更新后的超参数个体,包括:
32、
33、其中,表示第 t次优化过程中第 j个一次更新后的超参数个体中第 d维参数, d=1,2,…,d,d表示超参数个体中维度总数,c表示步长控制因子,表示圆周率,表示(-1,1)之间的随机数,表示第 t次优化过程中所有一次更新后的超参数个体的平均个体;
34、所述步长控制因子c为:
35、
36、其中,表示最大步长, e表示自然常数。
37、进一步地,根据所述最优超参数个体,采用全局跳跃策略对二次更新后的超参数个体进行三次更本文档来自技高网...
【技术保护点】
1.一种基于机器学习的教育资源治理方法,其特征在于,包括:
2.根据权利要求1所述的基于机器学习的教育资源治理方法,其特征在于,从至少一个目标数据源中采集目标教育资源数据,并对所述目标教育资源数据进行预处理,得到预处理之后的目标教育资源数据,包括:
3.根据权利要求2所述的基于机器学习的教育资源治理方法,其特征在于,所述数据去重处理,包括:对采集的目标教育资源数据中的重复数据仅保留一份,其余删除;
4.根据权利要求3所述的基于机器学习的教育资源治理方法,其特征在于,通过机器学习算法对预处理之后的目标教育资源数据进行特征提取以及特征识别,得到目标教育资源数据所对应的特征识别结果,包括:
5.根据权利要求4所述的基于机器学习的教育资源治理方法,其特征在于,通过机器学习算法对预处理之后的目标教育资源数据进行异常识别,得到目标教育资源数据所对应的异常识别结果,包括:
6.根据权利要求5所述的基于机器学习的教育资源治理方法,其特征在于,采用优化算法对第一机器学习模型进行优化与采用优化算法对第二机器学习模型进行优化的过程相同,且均包
7.根据权利要求6所述的基于机器学习的教育资源治理方法,其特征在于,根据所述最优超参数个体以及每个超参数个体对应的适应度,对每个超参数个体进行更新,得到一次更新后的超参数个体,包括:
8.根据权利要求7所述的基于机器学习的教育资源治理方法,其特征在于,采用螺旋引导策略对一次更新后的超参数个体进行二次更新,得到二次更新后的超参数个体,包括:
9.根据权利要求8所述的基于机器学习的教育资源治理方法,其特征在于,根据所述最优超参数个体,采用全局跳跃策略对二次更新后的超参数个体进行三次更新,得到三次更新后的超参数个体,包括:
10.根据权利要求5所述的基于机器学习的教育资源治理方法,其特征在于,根据所述目标教育资源数据所对应的特征识别结果以及异常识别结果,对目标教育资源数据进行数据治理,包括:
...【技术特征摘要】
1.一种基于机器学习的教育资源治理方法,其特征在于,包括:
2.根据权利要求1所述的基于机器学习的教育资源治理方法,其特征在于,从至少一个目标数据源中采集目标教育资源数据,并对所述目标教育资源数据进行预处理,得到预处理之后的目标教育资源数据,包括:
3.根据权利要求2所述的基于机器学习的教育资源治理方法,其特征在于,所述数据去重处理,包括:对采集的目标教育资源数据中的重复数据仅保留一份,其余删除;
4.根据权利要求3所述的基于机器学习的教育资源治理方法,其特征在于,通过机器学习算法对预处理之后的目标教育资源数据进行特征提取以及特征识别,得到目标教育资源数据所对应的特征识别结果,包括:
5.根据权利要求4所述的基于机器学习的教育资源治理方法,其特征在于,通过机器学习算法对预处理之后的目标教育资源数据进行异常识别,得到目标教育资源数据所对应的异常识别结果,包括:
6.根据权利要求5所述的基于机器学习的教育...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。