一种基于云计算技术的数字内容统一引入与管理方法及系统技术方案

本发明专利技术提供了一种基于云计算技术的数字内容统一引入与管理方法及系统，当用户提交数据处理请求时，通过开放接口提交数据处理必须的参数和基本数据给管理云模块，管理云模块利用已有信息控制生成配置文件，配置文件中包括加工过的并行数据挖掘算法的参数和存储云数据存取需要用到的基本信息；存储云模块的数据存取功能组件控制从数据库和数据文件中提取数据；数据准备完成后，数据存取功能组件通过调度信息告知管理云模块，启动选好的并行数据挖掘算法进行数据处理。与现有技术相比，本发明专利技术技术方案能够提供更大更强更好的数据处理性能，能够保障业务的即使响应。

【技术实现步骤摘要】
一种基于云计算技术的数字内容统一引入与管理方法及系统
本专利技术涉及一种基于云计算技术的数字内容统一引入与管理方法及系统，涉及海量数据内容处理领域。
技术介绍
数字内容统一引入与管理系统数字移动传播运营服务体系的内容，针对内容的高效充分利用是业务发展市场拓展的根本，基于这样一种理念，主要研究基于云计算的内容存储、使用、分发、检索等方面的内容，形成全面、高效、安全的数字内容引入与管理机制。将数字内容作品内容引进到数字移动传播运营服务体系进行推广，同时提供分析管理、信息发布、在线考评等相关功能。数字内容的统一引入与管理是实现数字内容传播推广和产业化的首要步骤，因此，内容引入与管理系统的搭建具有重要作用。
技术实现思路
本专利技术要解决的技术问题是提供一种基于云计算技术的数字内容统一引入与管理方法及系统，具有能够提供更大更强更好的数据处理性能的特点。本专利技术采用的技术方案如下：一种基于云计算技术的数字内容统一引入与管理方法，具体方法包括，数据请求，当用户提交数据处理请求时，通过开放接口提交数据处理必须的参数和基本数据给管理云模块，管理云模块利用已有信息控制生成配置文件，配置文件中包括加工过的并行数据挖掘算法的参数和存储云数据存取需要用到的基本信息；数据准备，存储云模块的数据存取功能组件控制从数据库和数据文件中提取数据；数据处理，数据准备完成后，数据存取功能组件通过调度信息告知管理云模块，启动选好的并行数据挖掘算法进行数据处理。所述方法还包括，将数据库进行分离，包括，生产资源库，用于存放数据存取的具体数据内容；管理库，用于存放数据存取的具体规则内容；日志库，用于存放数据存取记录日志文件。所述方法还包括，存储云模块采用节点式管理方法，每个数据节点管理自己节点上的所有物理数据；其中，主节点统一管理存储云模块的文件系统命名空间，存放所有挖掘待处理的数据；所述待处理的数据包括物理数据的名字空间、存取控制、数据块的位置信息和数据块的备份信息。一种基于云计算技术的数字内容统一引入与管理系统，便于实现上述数字内容统一引入与管理方法，其特征在于：包括存储云模块和管理云模块；其中，管理云模块，接收用户提交的数据处理请求，并根据数据处理请求信息控制生成配置文件；所述数据处理请求信息包括数据处理必须的参数和基本数据；所述配置文件中包括加工过的并行数据挖掘算法的参数和存储云数据存取需要用到的基本信息；存储云模块，包括数据存取功能组件，控制从数据库和数据文件中提取数据，并通过调度信息告知管理云模块，启动选好的并行数据挖掘算法进行数据处理。所述存储云模块还包括数据库，所述数据库包括，生产资源库，用于存放数据存取的具体数据内容；管理库，用于存放数据存取的具体规则内容；日志库，用于存放数据存取记录日志文件。所述存储云模块管理结构为节点式管理结构，包括，主节点，统一管理存储云模块的文件系统命名空间，存放所有挖掘待处理的数据；所述待处理的数据包括物理数据的名字空间、存取控制、数据块的位置信息和数据块的备份信息；数据节点，管理自己节点上的所有物理数据。与现有技术相比，本专利技术技术方案能够提供更大更强更好的数据处理性能，能够保障业务的即使响应。附图说明图1为本专利技术其中一实施例的存储云模块实现结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。一种基于云计算技术的数字内容统一引入与管理方法，具体方法包括，数据请求，当用户提交数据处理请求时，通过开放接口提交数据处理必须的参数和基本数据给管理云模块，管理云模块利用已有信息控制生成配置文件，配置文件中包括加工过的并行数据挖掘算法的参数和存储云数据存取需要用到的基本信息；数据准备，存储云模块的数据存取功能组件控制从数据库和数据文件中提取数据；数据处理，数据准备完成后，数据存取功能组件通过调度信息告知管理云模块，启动选好的并行数据挖掘算法进行数据处理。不同的云数据处理应用可以根据实际数据业务类型，开发不同的数据应用服务接口，提供不同的数据应用服务。云数据系统中多个数据资源之间的协同工作，使多个的数据资源可以对外提供同一种服务，并提供更大更强更好的数据处理性能。所述方法还包括，将数据库进行分离，包括，生产资源库，用于存放数据存取的具体数据内容；管理库，用于存放数据存取的具体规则内容；日志库，用于存放数据存取记录日志文件。云计算数据服务系统需要同时满足大量用户的需求，并行地为海量异构多源数据提供服务。因此，云数据系统的数据存储、处理技术必须具有高吞吐率和高传输率、高可靠性的特点。数据内容统一引入与管理系统负责几百万的版权、上千万的产品几十套外部系统随着业务的快速增长，同一个数据库负载了生产系统和信息管理系统的资源消耗请求，完成不同业务功能的各个能力部件使用同一个资源数据库，造成资源竞争，对于数据库的分库技术提出了要求。采用数据库分库技术，将生产资源库、管理库、日志库进行分离，保障业务的即使响应。所述方法还包括，存储云模块采用节点式管理方法，每个数据节点管理自己节点上的所有物理数据；其中，主节点统一管理存储云模块的文件系统命名空间，存放所有挖掘待处理的数据；所述待处理的数据包括物理数据的名字空间、存取控制、数据块的位置信息和数据块的备份信息。如图1所示，整个存储云模块的实现结构中，主节点NameNode将统一管理虚拟云存储数据模块的文件系统命名空间，存放所有挖掘待处理数据，包含了物理数据的名字空间、存取控制、数据块的位置信息、数据块的备份信息等，而大量的数据节点DataNode将管理自己节点上的所有物理数据。另外，采用存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。同时，数据加密技术保证存储的数据不会被未授权的用户所访问，通过各种数据备份、容灾技术和措施可以保证存储的数据不会丢失，保证存储层自身的安全和稳定。本专利技术还采用映射机制实现数据集中化和虚拟化，通过冗余技术和同步更新技术保证数据的错误恢复和完整性。为减少大量数据传输对带宽的消耗以及降低数据操作延时，采用优化的数据迁移技术，从而有效地提高了数据挖掘等算法的执行效率。一种基于云计算技术的数字内容统一引入与管理系统，便于实现上述数字内容统一引入与管理方法，其特征在于：包括存储云模块和管理云模块；其中，管理云模块，接收用户提交的数据处理请求，并根据数据处理请求信息控制生成配置文件；所述数据处理请求信息包括数据处理必须的参数和基本数据；所述配置文件中包括加工过的并行数据挖掘算法的参数和存储云数据存取需要用到的基本信息；存储云模块，包括数据存取功能组件，控制从数据库和数据文件中提取数据，并通过调度信息告知管理云模块，启动选好的并行数据挖掘算法进行数据处理。所述存储云模块还包括数据库，所述数据库包括，生产资源库，用于存放数据存取的具体数据内容；管理库，用于存放数据存取的具体规则内容；日志库，用于存放数据存取记录日志文件。所述存储云模块管本文档来自技高网...

【技术保护点】
1.一种基于云计算技术的数字内容统一引入与管理方法，具体方法包括，数据请求，当用户提交数据处理请求时，通过开放接口提交数据处理必须的参数和基本数据给管理云模块，管理云模块利用已有信息控制生成配置文件，配置文件中包括加工过的并行数据挖掘算法的参数和存储云数据存取需要用到的基本信息；数据准备，存储云模块的数据存取功能组件控制从数据库和数据文件中提取数据；数据处理，数据准备完成后，数据存取功能组件通过调度信息告知管理云模块，启动选好的并行数据挖掘算法进行数据处理。

【技术特征摘要】
1.一种基于云计算技术的数字内容统一引入与管理方法，具体方法包括，数据请求，当用户提交数据处理请求时，通过开放接口提交数据处理必须的参数和基本数据给管理云模块，管理云模块利用已有信息控制生成配置文件，配置文件中包括加工过的并行数据挖掘算法的参数和存储云数据存取需要用到的基本信息；数据准备，存储云模块的数据存取功能组件控制从数据库和数据文件中提取数据；数据处理，数据准备完成后，数据存取功能组件通过调度信息告知管理云模块，启动选好的并行数据挖掘算法进行数据处理。2.根据权利要求1所述的数字内容统一引入与管理方法，所述方法还包括，将数据库进行分离，包括，生产资源库，用于存放数据存取的具体数据内容；管理库，用于存放数据存取的具体规则内容；日志库，用于存放数据存取记录日志文件。3.根据权利要求1或2所述的数字内容统一引入与管理方法，所述方法还包括，存储云模块采用节点式管理方法，每个数据节点管理自己节点上的所有物理数据；其中，主节点统一管理存储云模块的文件系统命名空间，存放所有挖掘待处理的数据；所述待处理的数据包括物理数据的名字空间、存取控制、数据块的位置信息和数据块的备份信息。4.一种基于云计算技术的数字内容统一...

【专利技术属性】
技术研发人员：贺麟，王玺，李丽琴，赵耀，肖智宽，
申请(专利权)人：四川汇源吉迅数码科技有限公司，
类型：发明
国别省市：四川,51