一种基于IPTV和OTT业务的EPG菜单资源递归爬测方法技术

本发明专利技术公开了一种基于IPTV和OTT业务的EPG菜单资源递归爬测方法，主要是通过模拟机顶盒用户进行认证，认证成功后再通过爬虫和遍历的手段，对EPG资源进行全部的爬取，爬取到的资源再进行HTTP、HLS协议的仿真测试获取业务质量，同时对获取的信息内容进行分析，包括视频资源名称、资源简介、资源集数等内容，分析出资源缺集、少集、资源访问异常等情况。主要发明专利技术的主要步骤包括：模拟EPG业务认证流程、EPG资源内容遍历爬测、数据提取和指标计算。数据提取和指标计算。数据提取和指标计算。

【技术实现步骤摘要】
一种基于IPTV和OTT业务的EPG菜单资源递归爬测方法


[0001]本专利技术属于电子信息
，涉及了一种基于IPTV和OTT业务的EPG菜单资源递归爬测方法。

技术介绍

[0002]随着互联网电视用户的不断发展，客户体验(质量体验、服务体验、内容体验等)成为吸引用户的重要因素，如何提高最终客户的良好体验，显得尤为重要和迫切。EPG作为互联网电视业务的重要元素、机顶盒用户访问视频资源的唯一入口，具有数量大、更新快、发布前验证难等特点，其服务的可用性、可靠性、安全性直接关系到用户的体验和智能终端的适配。
[0003]但目前对EPG业务的质量保障仍停留在人工测试阶段，不及时、不全面、且工作量巨大，由于EPG页面资源量庞大、资源更新频率高，且不同于普通的互联网网页爬测，获取EPG界面需要先通过平台认证请求，分析EPG页面异常问题也需要对于EPG业务有深入的了解，计算异常事件需要多次复杂运算，记录新数据的同时回溯历史数据进行对比，还需要结合拨测工具测试资源质量，整个测试流程缺一不可，所以建设一套EPG资源爬测系统对于互联网电视运维工作非常重要但是难度也非常高，目前市场上还未有完善的EPG完整性爬测方案。
[0004]基于上述互联网电视业务的监测需求和EPG监测能力现状，我们研发了一种基于IPTV和OTT业务的EPG菜单资源递归爬测方法，可以针对EPG资源、全量点播节目资源的可用性、完整性、业务质量进行监测，利用爬虫和监测技术，获取EPG页面并通过深度爬测算法，可以在不影响EPG性能的情况下，一天内遍历EPG所有页面信息和试播节目，实现EPG内容完整性和质量监测，先于用户发现内容问题，有效提升IPTV运维能力。

技术实现思路

[0005]本专利技术公开了一种基于IPTV和OTT业务的EPG菜单资源递归爬测方法，主要是通过模拟机顶盒用户进行认证，认证成功后再通过爬虫和遍历的手段，对EPG资源进行全部的爬取，爬取到的资源再进行HTTP、HLS协议的仿真测试获取业务质量，同时对获取的信息内容进行分析，包括视频资源名称、资源简介、资源集数等内容，分析出资源缺集、少集、资源访问异常等情况。
[0006]主要专利技术的主要步骤包括：
[0007]●
模拟EPG业务认证流程
[0008]●
EPG资源内容遍历爬测
[0009]●
数据提取和指标计算
[0010]本专利技术方法可以应用到以下业务场景：
[0011]●
对EPG实现全功能、全覆盖监测，包括对多牌照方EPG模版、行业EPG模版(抽样)、和友商的EPG模版进行监测。
[0012]●
即时发现节目变更(例如：新上线节目、新下线节目等)。
[0013]●
自动发现EPG发布过程中的内容错误(例如：链接错误、运行错误等)。
[0014]●
自动发现EPG服务的响应异常，特别是第三方业务系统的响应异常(例如：响应慢、无响应/响应超时、响应错误等)。
[0015]●
保障各节点EPG发布内容的一致性。
[0016]●
确保EPG发布内容的安全性，可对敏感词进行统计分析。
[0017]●
提供统一的监管平台，实现集中配置、集中展示、集中报警。
[0018]●
可支持机顶盒入网或系统升级后的功能测试和性能测试。
附图说明
[0019]图1整体业务流程图；
[0020]图2模拟EPG认证流程图；
[0021]图3 EPG页面遍历流程图；
[0022]图4数据指标分类树图。
具体实施方式
[0023]下面结合附图对本专利技术作进一步说明。
[0024]本专利技术方法整体业务流程图详见附图1，包括模拟EPG业务认证流程、EPG资源内容遍历爬测、数据提取和指标计算流程。
[0025]EPG业务认证流程模拟见附图2模拟EPG认证流程图，EPG页面的获取需要通过业务平台和南传播控平台的认证，本方案结合机顶盒认证流程的抓包数据和业务平台侧、播控平台侧提供的接口流程说明，模拟机顶盒完成业务平台和南传播控平台的认证流程，成功获取EPG界面。
[0026]流程说明如下：
[0027]1)机顶盒发送账号密码到运营商业务管理平台；
[0028]2)运营商业务管理平台返回认证结果给机顶盒；
[0029]3)认证结果为失败，机顶盒停止认证；认证结果为成功，机顶盒发送启动launcher APK的请求给播控方launcher桌面APK平台；
[0030]4)播控方launcher桌面APK平台发送获取机顶盒UserToken、UserID等共享信息给机顶盒
[0031]5)机顶盒返回共享信息数据；
[0032]6)播控方launcher桌面APK平台发送牌照方认证请求给牌照方AAA系统；
[0033]7)牌照方AAA系统返回认证结果给播控方launcher桌面APK平台；
[0034]8)认证失败则播控方launcher桌面APK平台显示EPG认证失败；认证成功则播控方launcher桌面APK平台登录EPG首页，加载EPG界面内容。
[0035]获取EPG页面后再结合IPTV业务流程和EPG页面栏位特点，定义爬测参数，对EPG页面进行逐层遍历爬测。遍历流程详见附图3。
[0036]EPG页面资源遍历的内容可以分为首页资源遍历、点播资源遍历、直播资源遍历和回看资源遍历。
[0037]首页为机顶盒开机页面，同时包括各导航栏目的页面。首页遍历是指对开机页面下的所有栏目进行遍历测试，包括：推荐、电视剧、直播、电影、少儿、综艺、4K、教育、游戏、体育等。首页的遍历测试将获取本页面的关键信息，具体如下：
[0038]●
入口URL：机顶盒在EPG登录时的第一个页面登录地址；
[0039]●
页面导航名称：及EPG页面上边栏每一个栏目的名称；
[0040]●
推荐位ID：每一个栏目页面下的推荐位窗口的编号；
[0041]●
推荐位图片URL：每一个推荐位显示的图片；
[0042]●
APP URL：推荐位下一步操作对应APP的下载地址；
[0043]●
视频URL：此推荐位如果直接进入视频的播放地址；
[0044]点播节目是指EGP页面上所有非直播类型的节目。这些节目具有功能的一级入口，然后通过栏目方式编排节目信息，机构大致分为：栏目、节目列表、节目集和单个分集等四级结构。
[0045]对点播的遍历测试，就是通过检测设备从点播入口进入，通过自动遍历测试脚本，对栏目、节目列表、节目集信息逐一遍历。获取关键信息。关键信息如下：
[0046]●
点播节目入口：点播节目的统一入口的URL；
[0047]●
栏目ID：点播节目是分栏目的，每一个栏目都有一个唯一编号，此编本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.本发明基于IPTV和OTT业务EPG认证流程、页面特性，结合递归爬测算法，实现了EPG菜单界面资源的的全量爬测，爬测信息全面、爬测效率高，爬测结果与EPG页面结构匹配，可读性强，可以为EPG业务资源分析、质量分析提供数据支撑。2.本发明遍历爬测的内容包括EPG首页页面资源爬测、点播节目资源爬测、直播频道资源爬测、回...

【专利技术属性】
技术研发人员：林桂云，
申请(专利权)人：飞思达技术北京有限公司，
类型：发明
国别省市：