【技术实现步骤摘要】
一种基于URL规则匹配的网页采集任务自动化分拣方法
本专利技术涉及大数据
，具体的说是一种基于URL规则匹配的网页采集任务自动化分拣方法。
技术介绍
随着互联网及大数据技术迅猛发展，越来越多的经济活动开始拓展线上渠道，线上经济已成为经济发展的重要组成部分。尤其以零售、娱乐、金融和生活服务为代表性的产业在大数据技术的带动下，竞相不断迸发出创造性的活力，催生的产品彻底改变了社会生活的方方面面。然而，随着应用规模的急剧增长，也加大了线上经济活动的数据采集分析和统计的难度。基于此，针对现代大数据技术基础上的分布式web应用的在线数据采集任务，设计研发一种基于URL规则匹配的网页采集任务自动化分拣方法。
技术实现思路
本专利技术针对目前技术发展的需求和不足之处，提供一种基于URL规则匹配的网页采集任务自动化分拣方法，通过合理配置URL规则，定义分配流式数据主题，构建级联层化的任务分拣模型，减少任务调度的时间，增强任务处理的吞吐量，进而提高采集任务的执行效率。本专利技术的一种基于URL规则匹配的...
【技术保护点】
1.一种基于URL规则匹配的网页采集任务自动化分拣方法，其特征在于,该方法包括1)匹配规则配置，2)任务调度编排，3)分层主题模型构建三个阶段；/n1)匹配规则配置阶段：/n在采集任务中制定网页采集任务url模式匹配正则规则，根据任务所属的阶段配置待下载正则规则、解析正则规则和内容提取正则规则；/n2)任务调度编排阶段：/n待执行任务主题消费者从消费者主题中拉取待执行任务主题，根据调度分发队列进行任务的拆包并放置于待调度处理的任务队列中，规则匹配节点依次从任务队列中获取任务包，根据任务包的url地址模式与规则匹配节点匹配后进行转发，下载、解析和抽取规则作为任务调度分拣器，与...
【技术特征摘要】
1.一种基于URL规则匹配的网页采集任务自动化分拣方法，其特征在于,该方法包括1)匹配规则配置，2)任务调度编排，3)分层主题模型构建三个阶段；
1)匹配规则配置阶段：
在采集任务中制定网页采集任务url模式匹配正则规则，根据任务所属的阶段配置待下载正则规则、解析正则规则和内容提取正则规则；
2)任务调度编排阶段：
待执行任务主题消费者从消费者主题中拉取待执行任务主题，根据调度分发队列进行任务的拆包并放置于待调度处理的任务队列中，规则匹配节点依次从任务队列中获取任务包，根据任务包的url地址模式与规则匹配节点匹配后进行转发，下载、解析和抽取规则作为任务调度分拣器，与kafka主题实现一对一生产连接，完成匹配后的任务调用生产者接口写入主题域中；
3)分层主题模型构建阶段：
根据匹配的url地址设定下载主题、解析主题、内容提取主题三个层级，并基于任务的调度和处理解析构建分层主题模型，再基于分层主题模型配置下载、解析、内容提取三方面的自动化分拣策略。
2.根据权利要求1所述的一种基于URL规则匹配的网页采集任务自动化分拣方法，其特征在于，执行上述三个阶段过程中，还可以设定采集任务周期配置时间，启动后的采集任务发送到redis中相应网站任务队列中，任务调度节点从任务队列中拉取采集任务进行切分解析后，将任务写入kafka下载主题中，采集节点下载器从kafka中获取任务下载链接根据任务网站入口url进行链接下载，下载成功后的任务。
3.根据权利要求1所述的一种基于URL规则匹配的网页采集任务自动化分拣方法，其特征在于，在匹配规则配置阶段，根据任务所属的阶段配置待下载正则规则时，使用正则表达式设置所匹配任务队列中的待下载链接的url，下载正则规则以任务入口url地址链接为规则匹配模式，根据入口url链接制定通用下载规则正则。
4.根据权利要求3所述的一种基于URL规则匹配的网页采集任务自动化分拣方法，其特征在于，在匹配规则配置阶段，根据任务所属的阶段配置解析正则规则时，作为匹配网页中多个翻页url链接...
【专利技术属性】
技术研发人员：王勇，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。