基于智能电视的行为大数据获取系统及方法技术方案

本发明专利技术涉及大数据领域，其公开了一种基于智能电视的行为大数据获取系统及方法，解决硬件厂商在OTT模式下无法获取APP内使用行为数据的问题。该系统包括智能电视上的NET SDK模块和部署于云端分布式架构服务集群上的后台数据处理服务；所述NET SDK模块包括登录认证模块、数据捕获模块、数据清洗模块、数据上传模块和清洗规则更新模块；所述后台数据处理服务包括用户认证服务、数据接收服务、规则管理服务、数据转发/存储服务。本发明专利技术采用基于libpcap实现的NET SDK捕获流经网卡的原始数据，根据清洗规则对数据进行简单清洗之后，上传到云上的数据接收处理服务。从而可以在网络传输层收集用户APP内使用行为数据，而无需通过单个APP集成收集。

【技术实现步骤摘要】
基于智能电视的行为大数据获取系统及方法
本专利技术涉及大数据领域，具体涉及一种基于智能电视的行为大数据获取系统及方法。
技术介绍
在智能电视网络内容服务场景中，涉及牌照方、硬件厂商、应用提供方与内容提供方。由于集成方案原因，大部分用户行为数据集中在应用提供方。作为硬件厂商和牌照方，只能从Launcher中直接获得有限的行为数据，而对于应用内的行为数据，几乎无法获取。因此，用户行为数据的完整性、准确性、时效性都无法保障，造成了个性化的产品运营服务成为一句空话。硬件厂商如何通过系统层面，独立于应用之外，以简单高效的方式采集所有音视频播放行为数据，成为了各厂商的迫切需求。
技术实现思路
本专利技术所要解决的技术问题是：提供一种基于智能电视的行为大数据获取系统及方法，解决硬件厂商在OTT模式下无法获取APP内使用行为数据的问题。本专利技术解决上述技术问题所采用的技术方案是：基于智能电视的行为大数据获取系统，包括智能电视上的NETSDK模块和部署于云端分布式架构服务集群上的后台数据处理服务；所述NETSDK模块包括登录认证模块、数据捕获模块、数据清洗模块、数据上传模块和清洗规则更新模块；所述登录认证模块，用于根据账户信息登录云端，所述账户信息在SDK分发时以密文的形式在配置文件中配置；所述数据捕获模块，用于基于Libpcat对流经网卡的数据进行捕获，捕获的数据提交给数据清洗模块；所述数据清洗模块，用于基于清洗规则对数据进行清洗，清洗后的数据提交给数据上传模块；所述数据上传模块，用于将清洗后的数据上传给后台数据处理服务；所述清洗规则更新模块，用于根据后端配置的新的清洗规则，更新本地当前的清洗规则；所述后台数据处理服务包括用户认证服务、数据接收服务、规则管理服务、数据转发/存储服务；所述用户认证服务，提供对数据上报的终端用户的认证；所述数据接收服务，提供对上报的数据接收功能；所述数据转发/存储服务，以文件方式存储接收的数据或者将数据投递到队列进行转发；所述配置管理服务，提供清洗规则的定义、终端数据加密密钥管理、传输协议管理、SDK版本管理以及终端管理。作为进一步优化，所述登录认证模块在首次登录成功后，获得数据加密密钥，在数据上传时，通过该密钥对数据进行加密。作为进一步优化，所述终端管理包括：绑定关系管理、认证密钥管理和终端黑名单。作为进一步优化，所述清洗规则按照协议类型设置或者由关键字组成。作为进一步优化，所述数据上传模块根据后端配置要求，选择传输协议将清洗后的数据上传给后台数据处理服务。作为进一步优化，所述数据上传支持实时上传、批量打包上传和批量打包压缩上传；当传输异常时，先持久化到本地，待下次上传数据时一并上传。作为进一步优化，所述传输协议支持FTP协议、HTTP协议、TFTP协议、UDP协议和HTTPS协议。作为进一步优化，所述NETSDK模块中内置规则解析引擎，根据后端配置的清洗规则，解析生成数据捕获模块所需的过滤规则，数据捕获模块根据过滤规则进行数据捕获；再根据清洗规则定义，由数据清洗模块清洗不需要的数据，获得数据上传模块所需格式的数据。此外，本专利技术还提供了一种基于智能电视的行为大数据获取方法，应用于上述系统中，其包括以下步骤：a.智能电视上的NETSDK模块启动；b.向云端服务器发起身份认证；c.创建上传线程；d.从云端服务器获取配置文件；e.对配置文件进行解密和校验；f.根据配置文件设置过滤参数；g.读取网络数据；h.通过二次过滤抓取数据；i.将合法数据缓存，并且循环读取网络数据；j.由上传线程实时监测缓存区数据；k.当读取到缓存区合法数据后组织上传。作为进一步优化，步骤a中，所述NETSDK模块在当天首次启动时，进行清洗规则检查和更新。本专利技术的有益效果是：采用基于libpcap(数据包捕获函数库)实现的NETSDK捕获流经网卡的原始数据，根据清洗规则对数据进行简单清洗之后，上传到云上的数据接收处理服务。从而可以在网络传输层收集用户APP内使用行为数据，而无需通过单个APP集成收集。在当前智能电视OTT行业中，让内容运营方具备了获取用户行为的能力，从而可以基于这些数据满足定制化服务和个性化运营增值业务等场景；通过本方案厂家可以满足但不限于如下业务需求：研究用户行为，洞察广告投放策略，制定内容运营策略，定制产品服务等。附图说明图1为本专利技术的基于智能电视的行为大数据获取系统框架图；图2为本专利技术的基于智能电视的行为大数据获取方法流程图。具体实施方式本专利技术旨在提出一种基于智能电视的行为大数据获取系统及方法，解决硬件厂商在OTT模式下无法获取APP内使用行为数据的问题。本专利技术通过底层网络数据抓取集合私有化数据包捕获函数库，在电视机系统层面获得需要信息，从而实现对第三方应用的管理监控。如图1所示，本专利技术中基于智能电视的行为大数据获取系统，包括智能电视上的NETSDK模块和部署于云端分布式架构服务集群上的后台数据处理服务；所述NETSDK模块包括登录认证模块、数据捕获模块、数据清洗模块、数据上传模块和清洗规则更新模块；所述登录认证模块，用于根据账户信息登录云端，所述账户信息在SDK分发时以密文的形式在配置文件中配置；所述数据捕获模块，用于基于Libpcat对流经网卡的数据进行捕获，捕获的数据提交给数据清洗模块；所述数据清洗模块，用于基于清洗规则对数据进行清洗，清洗后的数据提交给数据上传模块；所述数据上传模块，用于将清洗后的数据上传给后台数据处理服务；所述清洗规则更新模块，用于根据后端配置的新的清洗规则，更新本地当前的清洗规则；所述后台数据处理服务包括用户认证服务、数据接收服务、规则管理服务、数据转发/存储服务；所述用户认证服务，提供对数据上报的终端用户的认证；所述数据接收服务，提供对上报的数据接收功能；所述数据转发/存储服务，以文件方式存储接收的数据或者将数据投递到队列进行转发；所述配置管理服务，提供清洗规则的定义、终端数据加密密钥管理、传输协议管理、SDK版本管理以及终端管理。在具体实现上，由于账户信息在SDK分发时以密文的形式在配置文件中配置，无需人工输入用户名、密码。初始化(首次验证通过)之后，与终端MAC地址绑定，以后验证MAC和密码的合法性。登录成功之后，获得数据加密密钥，数据上传时用该密钥对数据进行加密。NETSDK模块中内置有规则解析引擎，根据后端配置的清洗规则，解析生成数据捕获模块所需的过滤规则，数据捕获模块根据过滤规则进行数据捕获；再根据清洗规则定义，由数据清洗模块清洗不需要的数据，获得数据上传模块所需格式的数据。这里的根据过滤规则进行数据捕获以及根据清洗规则定义对不需要的数据进行清洗即为“二次过滤”，目的在于获得准确的所需要的数据。其中的清洗规则可以按照协议类型设置或者由关键字组成。数据上传模块在进行上传时，可以根据后端配置要求，选择传输协议将清洗后的数据上传给后台数据处理服务。其中，所述传输协议支持FTP协议、HTTP协议、TFTP协议、UDP协议和HTTPS协议。所述数据上传支持实时上传、批量打包上传和批量打包压缩上传；当传输异常时，先持久化到本地，待下次上传数据时一并上传。后台处理服务中的各个部分完成以下功能：用户认证服务，用于验证上报终端是否合法，首次登录时完成终端ID与密码绑定，SDK版本文档来自技高网...

【技术保护点】
1.基于智能电视的行为大数据获取系统，其特征在于，包括：智能电视上的NET SDK模块和部署于云端分布式架构服务集群上的后台数据处理服务；所述NET SDK模块包括登录认证模块、数据捕获模块、数据清洗模块、数据上传模块和清洗规则更新模块；所述登录认证模块，用于根据账户信息登录云端，所述账户信息在SDK分发时以密文的形式在配置文件中配置；所述数据捕获模块，用于基于Libpcat对流经网卡的数据进行捕获，捕获的数据提交给数据清洗模块；所述数据清洗模块，用于基于清洗规则对数据进行清洗，清洗后的数据提交给数据上传模块；所述数据上传模块，用于将清洗后的数据上传给后台数据处理服务；所述清洗规则更新模块，用于根据后端配置的新的清洗规则，更新本地当前的清洗规则；所述后台数据处理服务包括用户认证服务、数据接收服务、规则管理服务、数据转发/存储服务；所述用户认证服务，提供对数据上报的终端用户的认证；所述数据接收服务，提供对上报的数据接收功能；所述数据转发/存储服务，以文件方式存储接收的数据或者将数据投递到队列进行转发；所述配置管理服务，提供清洗规则的定义、终端数据加密密钥管理、传输协议管理、SDK版本管理以及终端管理。...

【技术特征摘要】
1.基于智能电视的行为大数据获取系统，其特征在于，包括：智能电视上的NETSDK模块和部署于云端分布式架构服务集群上的后台数据处理服务；所述NETSDK模块包括登录认证模块、数据捕获模块、数据清洗模块、数据上传模块和清洗规则更新模块；所述登录认证模块，用于根据账户信息登录云端，所述账户信息在SDK分发时以密文的形式在配置文件中配置；所述数据捕获模块，用于基于Libpcat对流经网卡的数据进行捕获，捕获的数据提交给数据清洗模块；所述数据清洗模块，用于基于清洗规则对数据进行清洗，清洗后的数据提交给数据上传模块；所述数据上传模块，用于将清洗后的数据上传给后台数据处理服务；所述清洗规则更新模块，用于根据后端配置的新的清洗规则，更新本地当前的清洗规则；所述后台数据处理服务包括用户认证服务、数据接收服务、规则管理服务、数据转发/存储服务；所述用户认证服务，提供对数据上报的终端用户的认证；所述数据接收服务，提供对上报的数据接收功能；所述数据转发/存储服务，以文件方式存储接收的数据或者将数据投递到队列进行转发；所述配置管理服务，提供清洗规则的定义、终端数据加密密钥管理、传输协议管理、SDK版本管理以及终端管理。2.如权利要求1所述的基于智能电视的行为大数据获取系统，其特征在于，所述登录认证模块在首次登录成功后，获得数据加密密钥，在数据上传时，通过该密钥对数据进行加密。3.如权利要求1所述的基于智能电视的行为大数据获取系统，其特征在于，所述终端管理包括：绑定关系管理、认证密钥管理和终端黑名单。4.如权利要求1所述的基于智能电视的行为大数据获取系统，其特征在于，所述清洗规则按照协议类型设...

【专利技术属性】
技术研发人员：任涛，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川,51