【技术实现步骤摘要】
数据处理方法及装置、电子设备及存储介质
本专利技术涉及信息
,尤其涉及一种数据处理方法及装置、电子设备及存储介质。
技术介绍
学习模型能够通过样本数据的学习,获得模型参数;从而利用训练好的模型进行各种决策;例如,应用于农业系统中提供与种植相关的决策。在训练模型的过程中,样本数据的量及取值的全面性直接决定了模型的决策质量。获得所有情况下的数据几乎是不可能的。例如,以应用于农业系统的学习模型为例,天气及作物等的各种状况都会动态发生变化,样本数据很难以收集全,故学习模型获得决策的精准度达不到预期效果。
技术实现思路
有鉴于此,本专利技术实施例期望提供一种数据处理方法及装置、电子设备及存储介质。本专利技术的技术方案是这样实现的:一种数据处理方法,包括:基于分类模型,获取第一样本数据的第一聚类信息,并根据所述第一聚类信息,确定选择阈值;基于所述分类模型,获取目标的第一监控数据的第二聚类信息,并根据所述第二聚类信息及所述选择阈值,从所述第一监控数据中选择出第二样本数据;< ...
【技术保护点】
1.一种数据处理方法,其特征在于,包括:/n基于分类模型,获取第一样本数据的第一聚类信息,并根据所述第一聚类信息,确定选择阈值;/n基于所述分类模型,获取目标的第一监控数据的第二聚类信息,并根据所述第二聚类信息及所述选择阈值,从所述第一监控数据中选择出第二样本数据;/n基于所述第二样本数据进行所述分类模型的主动学习,优化所述分类模型的模型参数;/n利用优化后的所述分类模型对所述目标的第二监控数据进行分类,获得第二监控数据的分类标签;/n将所述第二监控该数据的分类标签映射成语义信息,并利用语义信息更新本体,基于更新后的本体获得对所述目标执行预定操作的事件决策。/n
【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
基于分类模型,获取第一样本数据的第一聚类信息,并根据所述第一聚类信息,确定选择阈值;
基于所述分类模型,获取目标的第一监控数据的第二聚类信息,并根据所述第二聚类信息及所述选择阈值,从所述第一监控数据中选择出第二样本数据;
基于所述第二样本数据进行所述分类模型的主动学习,优化所述分类模型的模型参数;
利用优化后的所述分类模型对所述目标的第二监控数据进行分类,获得第二监控数据的分类标签;
将所述第二监控该数据的分类标签映射成语义信息,并利用语义信息更新本体,基于更新后的本体获得对所述目标执行预定操作的事件决策。
2.根据权利要求1所述的方法,其特征在于,
所述基于分类模型,获取第一样本数据的第一聚类信息,包括:
基于所述分类模型,获得所述第一样本数据的聚类平均距离、样本与聚类中心的最大距离及分类准确率;
所述根据所述第一聚类信息,确定选择阈值,包括:
根据所述聚类平均距离、样本与聚类中心的最大距离及所述分类准确率,计算所述选择阈值。
3.根据权利要求2所述的方法,其特征在于,
所述基于所述分类模型,获取第一监控数据的第二聚类信息,包括:
基于所述分类模型对第一监控数据进行聚类,获得所述第一监控数据与对应的聚类中心的聚类距离;
所述根据所述第二聚类信息及所述选择阈值,从所述第一监控数据中选择出第二样本数据,包括:
从所述第一监控数据中,选择所述聚类距离大于所述选择阈值的部分作为所述第二样本数据。
4.根据权利要求3所述的方法,其特征在于,
所述第二聚类信息还包括:利用所述分类模型获得所述第二样本数据的分类标签;
所述方法还包括:获取所述第二样本数据人工标注的人工标注标签;
若所述第二样本数据的分类标签和所述人工标注标签不同,所述分类模型主动学习所述第二样本数据及所述人工标注标签,以优化所述分类模型的模型参数。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据所述第二样本数据的分类标签和所述人工标注标签的比对结果,更新所述分类模型的所述分类准确率;
利用更新后的所述分类模型获得所述第一样本数据和所述第二样本数据的第三聚类信息;
根据更新后的所述分类准确率及所述第三聚类信息,更新所述...
【专利技术属性】
技术研发人员:游树娟,李小涛,
申请(专利权)人:中国移动通信有限公司研究院,中国移动通信集团有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。