【技术实现步骤摘要】
数据源去重方法及相关装置
[0001]本专利技术涉及数据传输领域，特别涉及一种数据源去重方法及相关装置。
技术介绍
[0002]随着移动互联网的发展，越来越多的网络用户转移到手机、平板电脑等移动设备，视频类软件尤为突出，需要把更多的视频推送给用户，用户也希望接收到自己想看的视频，但受限于移动设备的屏幕大小，每屏展示的内容有限，而且在多数据源的情况下展示的内容可能重复，浪费宝贵的曝光资源，所以尽可能提高有效曝光是各大视频内网站的当务之急。
技术实现思路
[0003]鉴于上述问题，本专利技术提供一种克服上述问题或者至少部分地解决上述问题的一种数据源去重方法及相关装置。
[0004]第一方面，一种数据源去重方法，包括：
[0005]根据频道标识，请求获取对应的频道数据；
[0006]若成功获取所述频道数据，则遍历所述频道数据中的各模块的模块信息；
[0007]针对任一所述模块的模块信息，若所述模块的模块信息中记录有对应的关联去重模块，则遍历所述模块的第一数据源列表和所述关联去重模块的
【技术保护点】
【技术特征摘要】
1.一种数据源去重方法，其特征在于，包括：根据频道标识，请求获取对应的频道数据；若成功获取所述频道数据，则遍历所述频道数据中的各模块的模块信息；针对任一所述模块的模块信息，若所述模块的模块信息中记录有对应的关联去重模块，则遍历所述模块的第一数据源列表和所述关联去重模块的第二数据源列表；若所述第一数据源列表和所述第二数据源列表中均记录有第一数据源，则将所述第一数据源从所述第一数据源列表中去除，并断开所述第一数据源与所述模块之间的通信。2.根据权利要求1所述的方法，其特征在于，在所述根据频道标识，请求获取对应的频道数据之前，所述方法还包括：获得客户端针对第一频道的数据访问请求，其中，所述数据访问请求中携带有所述第一频道的频道标识；所述根据频道标识，请求获取对应的频道数据，包括：根据所述第一频道的频道标识，请求获取所述第一频道的频道数据。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一频道的频道标识，请求获取所述第一频道的频道数据，包括：根据所述第一频道的频道标识，从缓存中请求获取所述第一频道的频道数据。4.根据权利要求3所述的方法，其特征在于，在所述根据所述第一频道的频道标识，从缓存中请求获取所述第一频道的频道数据之后，所述方法还包括：若从所述缓存中未获取到所述第一频道的频道数据，则根据所述频道标识，获取所述第一频道的频道信息和所述第一频道对应的各模块的模块信息和对应的数据源列表，其中，所述第一频道对应多个所述模块，一个所述模块对应一份所述模块信息且对应一个所述数据源列表；根据所述第一频道的频道信息和对应的各所述模块的模块信息和对应的所述数据源列表，聚合得到所述第一频道的频道数据；将聚合得到所述频道数据存储至所述缓存。5.根据权利要求1所述的方法，其特征在于，在所述将所述第一数据源从所述第一数据源列表中去除，并断开所述第一数据源与所述模块之间的通信之后，所述方法还包括：从所述模块的备用数据源池子中选择一个备用数据源...
【专利技术属性】
技术研发人员：郑雄飞，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。