【技术实现步骤摘要】
一种数据处理系统
本申请涉及广播电视技术，具体地，涉及一种数据处理系统。
技术介绍
在对电视台的电视业务数据进行分析处理时，现有技术通常是利用RGui统计分析软件进行数据的采集、分析、挖掘和展示。然而，由于电视台的收视数据的数量非常庞大，RGui分析需要消耗很高的服务器内存，容易因内存管理不当导致服务器异常。现有技术中存在的问题：在收视数据非常大的情况下服务器出现异常。
技术实现思路
本申请实施例中提供了一种数据处理系统，以解决上述技术问题。本申请实施例提供了一种数据处理系统，包括：数据计算调度装置、文件服务器、数据分析引擎、ETL服务器和数据库，其中，所述数据计算调度装置中的服务通过springMVC框架实现，用于将采集到的数据保存至文件服务器，根据采集到的数据生成计算任务加入到所述数据计算调度装置中的消息队列中，并将数据发送给ETL服务器和数据库；ETL服务器用于对所述数据进行处理并将处理标记保存至数据库，将计算结果发送至所述数据计算调度装置中的ETL结...
【技术保护点】
1.一种数据处理系统，其特征在于，包括：数据计算调度装置、文件服务器、数据分析引擎、ETL服务器和数据库，其中，/n所述数据计算调度装置中的服务通过springMVC框架实现，用于将采集到的数据保存至文件服务器，根据采集到的数据生成计算任务加入到所述数据计算调度装置中的消息队列中，并将数据发送给ETL服务器和数据库；/nETL服务器用于对所述数据进行处理并将处理标记保存至数据库，将计算结果发送至所述数据计算调度装置中的ETL结果队列；/n数据分析引擎对所述数据计算调度装置的队列中的数据进行分析，并将计算结果发送至所述数据计算调度装置中的计算结果队列和数据库。/n
【技术特征摘要】 【专利技术属性】
1.一种数据处理系统，其特征在于，包括：数据计算调度装置、文件服务器、数据分析引擎、ETL服务器和数据库，其中，
所述数据计算调度装置中的服务通过springMVC框架实现，用于将采集到的数据保存至文件服务器，根据采集到的数据生成计算任务加入到所述数据计算调度装置中的消息队列中，并将数据发送给ETL服务器和数据库；
ETL服务器用于对所述数据进行处理并将处理标记保存至数据库，将计算结果发送至所述数据计算调度装置中的ETL结果队列；
数据分析引擎对所述数据计算调度装置的队列中的数据进行分析，并将计算结果发送至所述数据计算调度装置中的计算结果队列和数据库。
2.根据权利要求1所述的数据处理系统，其特征在于，所述数据计算调度装置，包括：
数据维护模块，用于采集收视数据并保存至文件服务器，根据采集到的收视数据生成计算任务加入到所述数据计算调度装置中的收视队列中；
收视模块，用于根据所述收视队列中的计算任务对收视数据进行解析，将解析后的收视数据发送至ETL服务器和数据库，以及，将ETL结果队列中的收视数据计算结果发送至数据分析引擎。
3.根据权利要求1所述的数据处理系统，其特征在于，所述数据分析引擎进一步用于在对所述ETL结果队列中的数据进行分析的过程中，将各个阶段状态保存至数据库中。
4.根据权利要求2所述的数据处理系统，其特征在于，所述数据计算调度装置，进一步包括：
新媒体模块，用于根据采集到的收视数据以及预先设置的新媒体分析指标，对所述收视数据中与所述新媒体分析指标相关的新媒体数据进行解析，将解析后的新媒体数据发送至ETL服务器和数据库，以及，将所述数据计算调度装置的新媒体队列中的新媒体数据计算结果发送至数据分析引擎。
5.根据权利要求2所述的数据处理系统，其特征在于，所述数据计算调度装置，进一步包括：
综合评价模块，用于根据采集到的收视数据以及预先设置的综合评价分析指标，对所述收视数据中与所述综合评价分析指标相关的综合评价数据进行解析，将解析后的综合评价数据发送至ETL服务器和数据库，以及，将所述数据计算调度装置的综合评价队列中的综合评价数据计算结果发送至数据分析引擎。
6.根据权利要求1所述的数据处理系统，其特征在于，所述数据分析引擎对所述数据计算调度装置的队列中的数据进行分析，包括：
对所述数据计算调度装置的队列中的收视样本数据、收视特征数据、CSM频道表、CSM节目单进行清洗；
根据收视样本数据、收视特征数据、CSM频道表、CSM节目单计算得到指标元数据。
7.根据权利要求6所述的数据处理系统，其特征在于，根据收视样本数据、收视特征数据、CSM频道表、CSM节目单计算得到指标元数据，包括：
技术研发人员：王雪京，李伟男，王鑫，苏超，乔立新，
申请(专利权)人：中央广播电视总台，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。