家庭互联网终端整体互通方法技术

本发明专利技术涉及终端整体互通技术领域，具体涉及家庭互联网终端整体互通方法。包括以下步骤：DSP服务器路由接收来自多个渠道媒体、多种类别、多种类型的流量请求日志；流量请求日志经Nginx负载均衡服务集群将流量请求日志分发至DSP日志解析服务；经DSP日志解析服务ETL处理完成之后，按照特定格式转存至HDFS分布式存储系统内；使用分布式集群计算框架Spark编写分析计算批处理程序，使得来自多终端的数据关联起来；对于上述多终端数据的关联关系，进行验证与更新。本发明专利技术通过分布式集群计算框架Spark编写分析计算批处理程序，能实现来自家庭的智能电视终端设备与其他类型设备的有效关联，使得广告投放的粒度由单人单设备，转为单个家庭的多人多设备。

The whole interworking method of home internet terminal

【技术实现步骤摘要】
家庭互联网终端整体互通方法
本专利技术涉及终端整体互通
，具体涉及家庭互联网终端整体互通方法。
技术介绍
随着智能手机的普及和智能电视的大力推广，中国已经从互联网时代开始向物联网时代飞速转变。而智能电视的出现，也让互联网营销媒介从小屏(智能手机、台式机)跳跃到大屏，而多屏联动也自然成为营销的核心需求。其原因在于多屏联动，不仅代表个体在不同环境的广告触达，更是有机会在整个家庭成员环境内实现产品与消费者的沟通，进而影响家庭决策促成消费转化。现有的家庭互联网终端，均为独立的个体，在广告推送方面，对于一个家庭互联网终端还是以独立个体进行推送，因此用户体验较差。
技术实现思路
本专利技术的目的是克服现有技术的不足和缺陷，提供一种家庭互联网终端整体互通方法。本专利技术的目的是通过以下技术方案来实现的：家庭互联网终端整体互通方法，其特征在于，包括以下步骤：步骤1)，DSP服务器路由接收来自多个渠道媒体、多种类别、多种类型的流量请求日志；步骤2)，流量请求日志经Nginx负载均衡服务集群将流量请求日志分发至DSP日志解析服务；步骤3)，经DSP日志解析服务ETL处理完成之后，按照特定格式转存至HDFS分布式存储系统内；步骤4)，使用分布式集群计算框架Spark编写分析计算批处理程序，使得来自多终端的数据关联起来；步骤5)，对于上述多终端数据的关联关系，进行验证与更新。2、根据权利要求1所述的家庭互联网终端整体互通方法，其特征在于，步骤3)中特定格式为Hive的格式。3、根据权利要求1所述的家庭互联网终端整体互通方法，其特征在于，步骤4)中多终端的数据关联的具体步骤为：a、根据互联网广告交易平台提供的智能电视流量所属媒体资源广告位、尺寸等特征，从存储系统中提取出发生在智能电视终端上的广告流量行为，且时间点分布在特定时间段之间的流量请求的设备号、IP信息；b、再从整体数据中提取出特定时间段内除智能电视之外的其他互联网终端的广告流量请求设备号和IP信息；c、以流量携带的请求IP作为终端数据匹配的唯一条件，依次将IP所对应的智能电视终端设备号信息和其他互联网终端设备号信息进行关联计算，得到智能电视终端设备号与其他终端设备号的关联关系；d、依据上步关联关系，排除掉匹配到其他类型终端设备数量超过特定值的智能电视设备，智能电视设备视为来自非家庭的场所；排除之后剩余的设备则视为来自家庭的设备，并将关联关系存储起来；至此，实现将家庭中的智能电视终端关联至该家庭的其他互联网设备上。4、根据权利要求1～3中任一项所述的家庭互联网终端整体互通方法，其特征在于，步骤5)中验证与更新的具体方法为：a、定期执行步骤4)中的分布式集群计算处理程序，得到多个在不同分析周期内的分析结果，将各分析结果进行对比，筛选出关联关系中，出现频次普遍较高的智能电视之外的其他设备，视为该家庭常用设备；b、对累计到的多终端关联关系中的多个家庭常用设备进行广告投放测试，并依据投放效果的反馈持续调整关联关系。本专利技术相比现有技术包括以下优点及有益效果：(1)本专利技术通过分布式集群计算框架Spark编写分析计算批处理程序，能实现来自家庭的智能电视终端设备与其他类型设备的有效关联，使得广告投放的粒度由单人单设备，转为单个家庭的多人多设备。(2)本专利技术通过DSP服务器路由接收来自多个渠道媒体、多种类别、多种类型的流量请求日志，并经Nginx负载均衡服务集群将流量请求日志分发至DSP日志解析服务，经日志解析服务ETL处理完成之后，按照特定格式转存至HDFS分布式存储系统内能够实现多个渠道、多类型终端的广告流量行为的收集、分析、存储的问题。附图说明图1为本专利技术的中多终端的数据关联和更新流程图。图2为本专利技术的多渠道信息的采集、处理和存储的流程图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。本专利技术的具体实施过程如下：如图1至图2所示，家庭互联网终端整体互通方法，包括以下步骤：步骤1)，DSP服务器路由接收来自多个渠道媒体，多种类别的手机、平板、PC、智能电视等互联网终端、多种类型的流量请求日志；步骤2)，流量请求日志经Nginx负载均衡服务集群将流量请求日志分发至DSP日志解析服务；通过采用Nginx负载均衡服务集群能够提升系统的性能，降低系统的压力，可以实现一种高性能、高并发的分布式服务；步骤3)，经DSP日志解析服务ETL处理完成之后，按照特定格式转存至HDFS分布式存储系统内；采用HDFS分布式存储系统，显著提升了并发访问能力，比传统的集中存储技术具有更好的读写性能，满足在线高并发访问需求，并且减少了数据存储成本，易于扩展，支持不停机状态的存储扩容，同时数据存储冗余存储提高了安全性，其中，步骤1)至步骤3)完成了多渠道信息的采集、处理和存储流程，步骤4)，使用分布式集群计算框架Spark编写分析计算批处理程序，使得来自多终端的数据关联起来；步骤5)，对于上述多终端数据的关联关系，进行验证与更新。通过验证与更新能够实时对家庭互联网的数据进行更新；具体的，步骤3)中特定格式为Hive的格式。Hive是基于Hadoop(分布式系统基础架构)的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，其优点是学习成本低，不必开发专门的MapReduce应用，Hive是建立在Hadoop上的数据仓库基础构架，它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制，特别适合在家庭互联网终端互通上的应用。具体的，步骤4)中多终端的数据关联的具体步骤为：a、根据互联网广告交易平台提供的智能电视流量所属媒体资源广告位、尺寸等特征，从存储系统中提取出发生在智能电视终端上的广告流量行为，且时间点分布在特定时间段之间的流量请求的设备号、IP信息；b、再从整体数据中提取出特定时间段内除智能电视之外的其他互联网终端的广告流量请求设备号和IP信息；c、以流量携带的请求IP作为终端数据匹配的唯一条件，依次将IP所对应的智能电视终端设备号信息和其他互联网终端设备号信息进行关联计算，得到智能电视终端设备号与其他终端设备号的关联关系；d、依据上步关联关系，排除掉匹配到其他类型终端设备数量超过特定值的智能电视设备，智能电视设备视为来自非家庭的场所；排除之后剩余的设备则视为来自家庭的设备，并将关联关系存储起来；至此，实现将家庭中的智能电视终端关联至该家庭的其他互联网设备上。具体的，步骤5)中验证与更新的具体方法为：a、定期执行步骤4)中的分布式集群计算处理程序，得到多个在不同分析周期内的分析结果，将各分析结果进行对比，筛选出关联关系中，出现频次普遍较高的智能电视之外的其他设备，视为该家庭常用设备；b、对累计到的本文档来自技高网...

【技术保护点】
1.家庭互联网终端整体互通方法，其特征在于，包括以下步骤：/n步骤1)，DSP服务器路由接收来自多个渠道媒体、多种类别、多种类型的流量请求日志；/n步骤2)，流量请求日志经Nginx负载均衡服务集群将流量请求日志分发至DSP日志解析服务；/n步骤3)，经DSP日志解析服务ETL处理完成之后，按照特定格式转存至HDFS分布式存储系统内；/n步骤4)，使用分布式集群计算框架Spark编写分析计算批处理程序，使得来自多终端的数据关联起来；/n步骤5)，对于上述多终端数据的关联关系，进行验证与更新。/n

【技术特征摘要】
1.家庭互联网终端整体互通方法，其特征在于，包括以下步骤：
步骤1)，DSP服务器路由接收来自多个渠道媒体、多种类别、多种类型的流量请求日志；
步骤2)，流量请求日志经Nginx负载均衡服务集群将流量请求日志分发至DSP日志解析服务；
步骤3)，经DSP日志解析服务ETL处理完成之后，按照特定格式转存至HDFS分布式存储系统内；
步骤4)，使用分布式集群计算框架Spark编写分析计算批处理程序，使得来自多终端的数据关联起来；
步骤5)，对于上述多终端数据的关联关系，进行验证与更新。


2.根据权利要求1所述的家庭互联网终端整体互通方法，其特征在于，步骤3)中特定格式为Hive的格式。


3.根据权利要求1所述的家庭互联网终端整体互通方法，其特征在于，步骤4)中多终端的数据关联的具体步骤为：
a、根据互联网广告交易平台提供的智能电视流量所属媒体资源广告位、尺寸等特征，从存储系统中提取出发生在智能电视终端上的广告流量行为，且时间点分布在特定时间段之间的流量请求的设备号、IP信息；
b...

【专利技术属性】
技术研发人员：代忠泽，崔光学，
申请(专利权)人：上海新数网络科技股份有限公司，
类型：发明
国别省市：上海;31