一种数据抽取方法、装置、信息统计方法及相关设备制造方法及图纸

技术编号:25439136 阅读:77 留言:0更新日期:2020-08-28 22:27
本申请公开了一种数据抽取方法,包括获取业务数据;根据所述业务数据进行数据加载,获得源数据;根据所述业务数据配置抽取执行器;利用所述抽取执行器对所述源数据进行数据抽取,获得目标数据;该数据抽取方法可以根据业务类型的不同配置不同类型的抽取执行器,用以实现多种类型的数据抽取业务,有效地提高了数据抽取设备的通用性,简化了设备开发流程,降低了设备开发难度。本申请还公开了一种数据抽取装置、设备以及计算机可读存储介质,均具有上述有益效果。

【技术实现步骤摘要】
一种数据抽取方法、装置、信息统计方法及相关设备
本申请涉及数据处理
,特别涉及一种数据抽取方法,还涉及一种数据抽取装置、设备以及计算机可读存储介质。
技术介绍
数据抽取是从数据源中抽取数据的过程,现有的抽取设备,从数据的加载,到结果的输出,直至完成整个业务线的需求,都是基于本身的业务需求开发,即针对不同类型的业务需要开发不同的抽取设备,实现过程较为繁琐,无法满足随机抽取的通用性、标准化、可扩展的需求,给技术人员带来了较大的开发难度。因此,如何有效提高数据抽取设备的通用性,简化设备开发流程是本领域技术人员亟待解决的问题。
技术实现思路
本申请的目的是提供一种数据抽取方法,该数据抽取方法可以有效提高数据抽取设备的通用性,简化设备开发流程;本申请的另一目的是提供一种数据抽取装置、设备以及计算机可读存储介质,也具有上述有益效果。为解决上述技术问题,本申请提供了一种数据抽取方法,所述数据抽取方法包括:获取业务数据;根据所述业务数据进行数据加载,获得源数据;根据所述业务数据配置抽取执行器;<本文档来自技高网...

【技术保护点】
1.一种数据抽取方法,其特征在于,包括:/n获取业务数据;/n根据所述业务数据进行数据加载,获得源数据;/n根据所述业务数据配置抽取执行器;/n利用所述抽取执行器对所述源数据进行数据抽取,获得目标数据。/n

【技术特征摘要】
1.一种数据抽取方法,其特征在于,包括:
获取业务数据;
根据所述业务数据进行数据加载,获得源数据;
根据所述业务数据配置抽取执行器;
利用所述抽取执行器对所述源数据进行数据抽取,获得目标数据。


2.如权利要求1所述的数据抽取方法,其特征在于,所述根据所述业务数据配置抽取执行器,包括:
根据所述业务数据确定业务规则;
根据所述业务规则配置抽取算法,抽取因子干扰器以及链路过滤器。


3.如权利要求2所述的数据抽取方法,其特征在于,所述利用所述抽取执行器对所述源数据进行数据抽取,获得目标数据,包括:
利用所述链路过滤器对所述源数据进行过滤,获得过滤后的源数据;
根据所述业务数据对所述过滤后的源数据进行概率计算,获得各初始抽取概率;
利用所述抽取因子干扰器对各所述初始抽取概率进行概率浮动,获得各抽取概率;
利用所述抽取算法和各所述抽取概率对所述过滤后的源数据进行数据抽取,获得所述目标数据。


4.如权利要求1至3任意一项所述的数据抽取方法,其特征在于,还包括:
发送确认请求至所述目标数据对应的目标对象;
判断是否接收到所述目标对象反馈的确认信息;
若否,则返回所述利用所述抽取执行器对所述源数据进行数据抽取的步骤,直至获得新的目标对象。


...

【专利技术属性】
技术研发人员:孙军易锋
申请(专利权)人:政采云有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1