财经媒体业务数据中心系统技术方案

本发明专利技术公开了财经媒体业务数据中心系统，实现了财经板块内不同媒体平台之间数据的有效共享。其技术方案为：系统包括：数据录入模块，采集并录入财经数据源；数据存储模块，对财经数据进行转换和加载，建立基础数据层，根据财经媒体业务主题进行管理、分类和存储，同时建立符合财经媒体规则的面向主题的、非易失的、时变的数据集合；数据提取模块，接收来自前端业务系统的数据应用请求，提取数据应用请求所需的数据资源，根据前端业务系统的接口要求进行数据封装，完成封装后的数据通过数据接口模块传送到前端业务系统；数据接口模块，连接前端业务系统。

【技术实现步骤摘要】

本专利技术涉及数据中心系统，尤其涉及一种财经媒体业务数据中心系统。
技术介绍
对于大型的财经传媒公司，比如第一财经， 一般都拥有各证券交易所信息服 务公司提供的实时证券行情数据支持服务，以及购买的新华社、道琼斯、路透社等 国际知名资讯信息提供商的资讯服务。但是各类数据及财经资讯在使用后没有统一 保存，基本不保留历史数据，使用相对局限。信息孤岛现象导致了珍贵的财经信息 资源严重浪费，不利于对信息资源的统一管理、规划和积累，也不能满足业务发展 需求，更不利于在信息积累的基础上形成财经传媒自己的品牌产品和资讯服务提 供。在一些大型的财经传媒中，下属的频道、频率、日报、网站和研究院等多种传 播渠道，内容布局完整，产品规划全面。然而在实际运营中，由于没有有效的技术 共享平台，各媒体间相对离散，有效资源没有实现最大化利用。
技术实现思路
本专利技术的目的在于解决上述问题，提供了一种财经媒体业务数据中心系统， 实现了财经板块内不同媒体平台之间数据的有效共享，提高了板块内信息联动的效 率。本专利技术的技术方案为本专利技术揭示了一种财经媒体业务数据中心系统，包括: 数据录入模块，采集财经数据源，通过通用数据接口抽取录入采集到的财经数据；数据存储模块，连接数据录入模块，对抽取录入的财经数据进行ETL过程的 转换和加载，建立基础数据层，根据财经媒体业务主题进行管理、分类和存储，同 时按照财经媒体业务需求建立符合财经媒体规则的面向主题的、非易失的、时变的 数据集合；数据提取模块，连接数据存储模块和数据接口模块，接收来自前端业务系统 的数据应用请求，提取数据应用请求所需的数据资源，根据前端业务系统的接口要 求进行数据封装，完成封装后的数据通过数据接口模块传送到前端业务系统；数据接口模块，连接前端业务系统。上述的财经媒体业务数据中心系统，其中，数据录入模块进一步包括以下三 个单元的任意一种组合-第一抽取单元， 一方面接收DBF格式的数据文件，解析数据文件的内容，转 换格式后录入到数据存储模块，另一方面通过第三方提供的数据接口接收第三方的 数据并抽取到数据存储模块；第二抽取单元，通过ETL中的抽取过程将文字信息及纯数据信息以及异构数 据库中的数据信息抽取到数据存储模块；第三抽取单元，从网站上抓取所需的资源，抽取目标网页到数据存储模块。上述的财经媒体业务数据中心系统，其中，第一抽取单元是Java程序实现的 抽取单元通过第三方提供的数据接口 API专用函数实现的数据接入。上述的财经媒体业务数据中心系统，其中，第三抽取单元是搜索抓取引擎实 现对网站资源的抓取的，抓取的规则根据业务规则预先在搜索抓取引擎中配置抓取 策略。上述的财经媒体业务数据中心系统，其中，数据提取模块中预存预先编译好的存储过程，用于提取数据资源。上述的财经媒体业务数据中心系统，其中，数据录入模块还包括 图片资源上传单元，将图片资源上传到数据存储模块，分为用户图片库单元和专家库单元，其中用户图片库单元用于存放财经报刊所采集的图片，专家库单元财经电视频道专用图片。上述的财经媒体业务数据中心系统，其中，数据存储模块在数据仓库存储结 构上实现元数据级的数据管理，元数据分为技术元数据、业务元数据和内联映射元、j//, i,门数据。上述的财经媒体业务数据中心系统，其中，数据存储模块实现操作数据存储， 操作数据存储用于集成来自不同数据库数据的环境，形成统一完整的应用视图。本专利技术对比现有技术有如下的有益效果本专利技术的技术方案实现数据资源的实时存储、提取、调用和财经传媒内各个媒体平台的信息共享，为财经媒体从单一 的、区域性的、传统性的运作模式，向跨空间、跨地区、现代化的专业化财经类媒 体运作模式的转变提供数据支持。同时本专利技术的财经媒体业务数据中心满足了历史 数据积累的需要，实现数据的深度分析和挖掘。为财经类电视、日报、广播、周刊、 网站以及研究院实现了统一的数据存储与数据支持服务。附图说明图1是本专利技术的财经媒体业务数据中心系统的实施例的原理图。 图2是本专利技术的记录的示意图。具体实施例方式下面结合附图和实施例对本专利技术作进一步的描述。图1示出了本专利技术的财经媒体业务数据中心系统的实施例的原理。请参见图1，本实施例的财经媒体业务数据中心系统包括数据录入模块l、数据存储模块2、 数据提取模块3、数据接口模块4。数据录入模块1用于采集财经数据源，通过通用数据接口抽取录入采集到的 财经数据。数据录入模块1进一步包括以下三个单元的任意一种组合Java程序 抽取单元11 (亦艮卩第一抽取单元)、ETL (Etraction-Transformation-Loading， 抽取一转换一装载)过程抽取单元12 (亦即第二抽取单元)、搜索抓取引擎外网 抓取抽取单元13 (亦即第三抽取单元)。Java程序抽取单元11 一方面接收DBF格式的数据文件，解析数据文件的内容， 转换格式后抽取录入数据存储模块2，另一方面通过第三方提供的数据接口接收第 三方的数据并抽取到数据存储模块2。其中DBF格式的数据文件一般有来自证券交 易所(例如上证、深证、港股)提供的当前股市行情数据的DBF文件，或者是来自 路透社的DBF文件。第三方通常有新华社、道琼斯等，第三方提供的数据接口是指 由第三方制作的用于读取它们自己数据的数据接口工具。在本实施例中，抽取单元 11是通过Java程序来实现的，而第三方提供的数据接口通常是API专用函数实现 的数据接口。Java程序抽取单元11处理的实时行情数据通过卫星等方式接收落地，在本地形成临时数据文件，由数据中间层直接通过数据视图映射临时数据文件格式，转换成SQL的访问接口，由制播系统直接调用数据。数据在中间层不落地。 具体的DBF文件格式转换及内容如下 对于整体行情的记录格式<table>table see original document page 7</column></row><table>除上述字段外，其他字段为空。记录示例为2002年9月11日下午15时05 分13秒时，表中的第一条记录如图2所示。分类指数的第2 — 15条记录如下-<table>table see original document page 7</column></row><table>10说明如下分类指数包括上证指数、A股指数、B股指数、工业指数、商业 指数、地产指数、公用指数、综合指数、上证180、基金指数、国债指数和测试数 据。参与计算相应指数的交易数量(Sll)的单位和参与计算的证券类型相关。证券类型是股票的指数交易数量是ioo股，基金指数的交易数量单位是100份，债券指数的交易数量单位是手。除上述字段外，其他字段内容为空。对于ETL过程抽取单元12，通过ETL中的抽取过程，在ETL工具平台上实现 将文稿以及异构数据库中的文字信息抽取到数据存储模块2。 ETL就是数据抽取、 转换和加载，这是数据仓库实现过程中，数据由数据源向数据仓库加载的方法。其 中的数据抽取过程是指采用统一的接口，从数据库抽取数据或者从文件抽取。对于 不同数据平台，源数据形式、性能要求的业务系统，以及不同数据量的源数据，可 能采用的接口方式不同，本文档来自技高网...

【技术保护点】
一种财经媒体业务数据中心系统，包括：　数据录入模块，采集财经数据源，通过通用数据接口抽取录入采集到的财经数据；　数据存储模块，连接数据录入模块，对抽取录入的财经数据进行ＥＴＬ过程的转换和加载，建立基础数据层，根据财经媒体业务主题 进行管理、分类和存储，同时按照财经媒体业务需求建立符合财经媒体规则的面向主题的、非易失的、时变的数据集合；　数据提取模块，连接数据存储模块和数据接口模块，接收来自前端业务系统的数据应用请求，提取数据应用请求所需的数据资源，根据前端业务 系统的接口要求进行数据封装，完成封装后的数据通过数据接口模块传送到前端业务系统；　数据接口模块，连接前端业务系统。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘建宏，李泽强，陈子建，傅伟，周敏，谈新，马磊，郭小丹，
申请(专利权)人：上海文广新闻传媒集团，
类型：发明
国别省市：31[中国|上海]