【技术实现步骤摘要】
一种基于大数据自动补图的方法及系统
本专利技术涉及大数据自动补图的
，尤其涉及一种基于大数据自动补图的方法及系统。
技术介绍
现有技术获取异常丢失图片的地址和针对异常丢失图片补图，均是通过手工的方式进行补图和人员反馈沟通方式获取异常丢失图片地址。通过人员沟通反馈方式获取异常丢失图片方法，是网民访问到异常丢失图片地址或编辑人员从库中获取图片地址加入文章后发现该图片出现异常丢失，至此将异常丢失图片地址已邮件方式提供给相关人员。相关人员获取到邮件后通过手动方式将异常丢失图片地址逐步进行操作补图，并检测是否正常。综上所述，现有技术中的补图程序是如有人反馈异常丢失图片调用失败，然后进行手动补丢失的图片，其缺点如下：手动补图效率低下，如遇到批量的异常丢失图片地址进行手动补图，导致时间消耗成本变高，工作量大，且工作繁杂；异常丢失图片地址获取被动，获取异常丢失图片地址均是第三方人员反馈，然后进行补图导致补图处于被动状态和异常丢失图片处理不及时。
技术实现思路
为实现上述目的，...
【技术保护点】
1.一种基于大数据自动补图的方法，其特征在于，所述方法包括：/n获取目标服务器中图片的全量日志，将所述全量日志存储到分布式存储器的消息队列中；/n每隔第一设定时间段，从所述消息列队中提取全量日志，根据所述全量日志的状态字段信息将提取的全量日志中的每一条日志进行聚类；/n每隔第二设定时间段获取聚类后状态字段信息为异常丢失图片的日志类别中满足设定条件的日志；/n根据满足设定条件的日志中的统一资源标识符URI、以及满足设定条件的日志对应的图片所属的业务类型，对满足设定条件的日志对应的图片进行补图。/n
【技术特征摘要】
1.一种基于大数据自动补图的方法，其特征在于，所述方法包括：
获取目标服务器中图片的全量日志，将所述全量日志存储到分布式存储器的消息队列中；
每隔第一设定时间段，从所述消息列队中提取全量日志，根据所述全量日志的状态字段信息将提取的全量日志中的每一条日志进行聚类；
每隔第二设定时间段获取聚类后状态字段信息为异常丢失图片的日志类别中满足设定条件的日志；
根据满足设定条件的日志中的统一资源标识符URI、以及满足设定条件的日志对应的图片所属的业务类型，对满足设定条件的日志对应的图片进行补图。
2.如权利要求1所述的基于大数据自动补图的方法，其特征在于，所述全量日志的状态字段信息中记录的日志类别包括正常图片或异常丢失图片。
3.如权利要求2所述的基于大数据自动补图的方法，其特征在于，所述设定条件为：在第二设定时间段内，根据日志中的统一资源标识符URI进行排查，按照URI出现异常码的次数从多到少进行排序，获取位于前N条的日志，N为正整数。
4.如权利要求3所述的基于大数据自动补图的方法，其特征在于，所述根据满足设定条件的日志中的统一资源标识符URI、以及满足设定条件的日志对应的图片所属的业务类型，对满足设定条件的日志对应的图片进行补图，包括：
针对任一满足设定条件的日志对应的图片，若图片属于裁图业务，根据统一资源标识符URI判断裁图的图片数据是否存在，若裁图的图片数据存在，则调用异常数据修补模块对图片进行补图；若裁图的图片数据不存在，则判定为裁图的图片地址有误，并调用报警接口发送图片地址有误报警；
若图片属于文件业务，根据统一资源标识符URI进行判断，若统一资源标识符URI为异常丢失图片地址，则调用异常数据修补模块对图片进行补图；若统一资源标识符URI为正常图片地址，则调用报警接口发送图片地址正常通知。
5.如权利要求4所述的基于大数据自动补图的方法，其特征在于，所述调用异常数据修补模块对图片进行补图，包括：
根据统一资源标识符URI判断需要补图的图片是编辑人员上传还是抓站程序上传；
若是编辑人员上传，则通过下载CDN边缘节点上图片的原始数据，然后调用上传程序接口进行补图，并进一步判断是否补图成功，若失败则使用默认图片进行补图，并调用报警接口发送补图失败报警；
若是抓站程序上传，则通过抓站历史库查询图片的原始地址，根据原始地址下载图片后调用上传程序接口进行补图，并进一步判断是否补图成功，若失败则使用默认图片进行补图，并调...
【专利技术属性】
技术研发人员：田雄飞，
申请(专利权)人：新浪网技术中国有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。