一种互联网资源整合系统与方法技术方案

本发明专利技术提出一种互联网资源整合系统和方法，在系统前台提供了三维采集模块，用区分的服务采集器、数据采集器以及用户信息采集器对系统服务、系统数据以及用户信息进行采集并归置至三类不同的准入模块，用于系统数据的第一级分离以及基于匹配模块的第二级整合，提供了较之现有技术尤佳的系统管理性能以及更高的系统管理维度。

【技术实现步骤摘要】
一种互联网资源整合系统与方法
本专利技术属于新一代物联网IT
，尤其涉及一种互联网资源整合系统与方法。
技术介绍
互联网资源的多样性与复杂性，导致其综合利用率千差万别。在不同的互联网平台资源对接过程中，若无法实现数据的有效利用，无法将数据传递给合适的服务或应用，以及无法实行对数据使用者的甄别和标识，可能带来数据利用率不高、数据和应用安全性的诸多问题。对互联网资源而言，将服务与服务所应用的数据进行整合，基于数据、服务之间以及其与用户之间的关联关系，将存在对应关系和存在系统挖掘潜力的数据、应用服务和用户进行整合，能够显著提升系统的数据使用能力，且能够较高效地发挥系统内部的功能应用潜力，提升系统性能及用户可控性。能够被系统及系统内部应用服务所使用的典型的互联网资源类型即为大数据资源。大数据(bigdata)，IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。大数据的5V特点(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。大数据资源的普适定义如下：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据(Bigdata)也吸引了越来越多的关注。分析师团队认为，大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。互联网资源数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。据IDC的调查报告显示：企业中80％的数据都是非结构化数据，这些数据每年都按指数增长60％。大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。其次，想要系统的认知大数据，必须要全面而细致的分解它，着手从三个层面来展开：第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。第二层面是技术，技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。第三层面是实践，实践是大数据的最终价值体现。在这里分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。资源整合是指企业对不同来源、不同层次、不同结构、不同内容的资源进行识别与选择、汲取与配置、激活和有机融合，使其具有较强的柔性、条理性、系统性和价值性，并创造出新的资源的一个复杂的动态过程。资源整合是优化配置的决策。就是根据企业的发展战略和市场需求对有关的资源进行重新配置，以突显企业的核心竞争力，并寻求资源配置与客户需求的最佳结合点。目的是要通过组织制度安排和管理运作协调来增强企业的竞争优势，提高客户服务水平。UPS最近对供应链管理服务资源的整合就很能说明问题。UPS于2002年1月1日将原有为客户提供供应链管理服务的资源整合物流集团公司、货运服务公司(包括飞驰货代)、金融公司、咨询公司和邮件管理公司等整合，新设供应链管理解决方案事业部(UPSSupplyChainSolutions)。目的是整合UPS所有与供应链管理有关的服务资源，使客户能够很方便地获得专业知识支持，即为客户提供“一站式”的供应链管理服务。该事业部拥有一个由工程师、物流管理专家、技术集成专家、多式联运专家和投资分析家等组成的团队，为客户的全球供应链管理设计方案，然后交由各专业公司组织实施。该事业部的市场定位是全球化运作的大公司。主要是为高技术，通讯、健康产品、汽车、零售和消费品领域的客户服务。2001年，参与整合的物流集团公司、货运服务公司、投资公司和邮件管理公司的营业收入总和就达24亿美元。UPS之所以重新整合供应链管理服务资源，是因为UPS在2002年初已经确定要转向“一个完全的供应链管理服务公司”。由此可见，目前在物流服务市场上受到普遍推崇的所谓向客户提供“一站式”服务的经营模式，实际上既是物流企业优化资源配置所追求的目标，也是物流企业优化资源配置的过程。互联网资源整合其实就是平台的概念，利用互联网的优势快速搜集资源、集聚资源。正是因为考虑到这点，各类管理系统应运而生，在系统平台侧，认识服务于数据、用户的整合切入，对数据资源的吸引、关注，才是脚踏实地的互联网资源整合出发点。在系统平台互联网资源整合与管理过程中，专利技术人认识到，海量数据在综合的、多应用的系统中，依据不同的应用、不同的操作者进行差异化精细管理的程度普遍不高，无法精确实施服务、数据及用户之间的有效整合，导致目前信息化数据管理中的数据映射与数据综合管理方式不够健全，且无法依据应用和数据的相互关注关系，也即基于特定应用对特定数据的聚焦，或特定数据对特定应用的聚焦，提出个性化的关注管理方式，提升数据和用户、应用服务之间的整合度。本专利技术经由提出一种互联网资源整合系统和方法，在系统前台提供了三维采集模块，用区分的服务采集器、数据采集器以及用户信息采集器对系统服务、系统数据以及用户信息进本文档来自技高网...

【技术保护点】
1.一种互联网资源整合系统，所述系统包括以下模块：/n系统前台采集模块，用于采集如下的系统数据及入口数据：/n·服务采集器，用于采集并维护互联网资源整合系统管理的应用基本信息，所述应用基本信息至少包括应用的标识，应用的使用者标识以及应用独占的对象数据结构体标识；/n·数据采集器，用于采集并维护互联网资源整合系统管理的数据以及接收用户的数据更新，所述互联网资源整合系统管理的数据以及接收用户的数据更新的其数据均由特定数据结构体格式组成；/n·用户信息采集器，用于采集并维护互联网资源整合系统的网管用户数据，所述网管用户数据至少包括用于标识所述网管用户的数据；/n应用管理准入模块，接收服务采集器的采集结果，对所管理的应用进行筛选，将需要进行应用数据管理的活动应用执行系统准入；/n应用标签拆解模块，拆解应用标签为：/n·主标签，用于存储应用ID；/n·使用者标签，用于标识应用的使用者集合，所述使用者集合用于表征曾经操作过该应用的所有网管ID，所述使用者集合将随着应用的操作情况更新而更新；/n·数据结构体标签，用于标识应用的关注数据结构体，所述应用的关注数据结构体为本应用优先的数据结构体；/n应用标签拆解模块将如上标签组合为第一结构体传递至三元存储单元；/n数据管理准入模块，接收数据采集器的采集结果，对所管理的数据进行准入，将符合标准数据格式的对象数据输入数据拆解模块；/n所述符合标准数据格式的对象数据具体为，该对象数据至少为一结构体，且其至少包含如下字段：/n·对象数据主标签字段，用于存储对象数据的数据结构体标签ID；/n·使用该数据的应用主标签字段，包含所有使用该数据的应用主标签；/n·关注应用字段，用于标识该数据对应的关注应用主标签；/n数据拆解模块，用于对所管理的数据进行拆解，将符合标准数据格式的对象数据至少拆解为对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段，将除对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段以外的其它数据字段保留，作为其它数据字段，与对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段一起组成新的第二结构体，传递至三元存储单元；/n网络管理准入模块，接收用户信息采集器的采集结果，接收网管的登录信息并记录登录网管ID；/n网管辨识模块，存储各个网管ID及其相应的历史应用操作记录，在收到网络管理准入模块传递的网管ID后，查询tag映射库是否有相应网管ID的记录，若否，基于本地存储的各个网管ID及其相应的历史应用操作记录，将操作次数最多的前N个应用的主标签作为该网管ID的tag记录更新至tag映射库；/nTag映射库，存储了各个网管ID及其相应的tag，所述tag标记了网管最常使用的前N个应用ID，N为预设使用度阈值，表征网管的应用使用偏好，一个网管ID对应于N个tag，每个tag为每个应用的主标签；/nTag锚定模块，接收网管辨识模块传递的网管ID，并基于Tag映射库存储的各个网管ID及其相应的tag确定当前网管ID的对应tag；构造第三结构体，将网管ID作为第三结构体的第一字段，对应tag作为第三结构体的第二字段，将第三结构体传递至三元存储单元；/n三元存储单元，接收如下三元对应关系并存储：/n第一结构体，存储至第一存储分区；/n第二结构体，存储至第二存储分区；/n第三结构体，存储至第三存储分区；/n一级匹配模块，向三元存储单元发出数据请求，用于请求第一结构体数据以及第二结构体数据，并基于第一结构体数据向第二结构体数据执行查找匹配，并获得匹配结果，建立匹配的第一结构体和第二结构体映射关系，存储于所述一级匹配模块，供用户调用；/n二级匹配模块，向三元存储单元发出数据请求，用于请求第一结构体数据以及第二结构体数据，并基于第二结构体数据向第一结构体数据执行查找匹配，并获得匹配结果，建立匹配的第二结构体和第一结构体映射关系，存储于所述二级匹配模块，供用户调用。/n其中，所述数据结构体标签，用于标识应用的关注数据结构体，所述应用的关注数据结构体为本应用优先的数据结构体，具体为：/n所述数据结构体标签对应于第二结构体的对象数据主标签字段，可通过检查第二结构体的对象数据主标签字段是否等于所述数据结构体标签ID来确定所述第二结构体对应的对象数据是否为该应用的关注数据结构体。/n其中，该应用的关注数据结构体具体为：/n当该应用与其它应用均可能使用或修改该应用的关注数据结构体时，所述关注数据结构体仅允许该应用的使用或修改，并向其它应用执行访问禁止，将所有对其它应用的调用返回值表达为FALSE。/n...

【技术特征摘要】
1.一种互联网资源整合系统，所述系统包括以下模块：
系统前台采集模块，用于采集如下的系统数据及入口数据：
·服务采集器，用于采集并维护互联网资源整合系统管理的应用基本信息，所述应用基本信息至少包括应用的标识，应用的使用者标识以及应用独占的对象数据结构体标识；
·数据采集器，用于采集并维护互联网资源整合系统管理的数据以及接收用户的数据更新，所述互联网资源整合系统管理的数据以及接收用户的数据更新的其数据均由特定数据结构体格式组成；
·用户信息采集器，用于采集并维护互联网资源整合系统的网管用户数据，所述网管用户数据至少包括用于标识所述网管用户的数据；
应用管理准入模块，接收服务采集器的采集结果，对所管理的应用进行筛选，将需要进行应用数据管理的活动应用执行系统准入；
应用标签拆解模块，拆解应用标签为：
·主标签，用于存储应用ID；
·使用者标签，用于标识应用的使用者集合，所述使用者集合用于表征曾经操作过该应用的所有网管ID，所述使用者集合将随着应用的操作情况更新而更新；
·数据结构体标签，用于标识应用的关注数据结构体，所述应用的关注数据结构体为本应用优先的数据结构体；
应用标签拆解模块将如上标签组合为第一结构体传递至三元存储单元；
数据管理准入模块，接收数据采集器的采集结果，对所管理的数据进行准入，将符合标准数据格式的对象数据输入数据拆解模块；
所述符合标准数据格式的对象数据具体为，该对象数据至少为一结构体，且其至少包含如下字段：
·对象数据主标签字段，用于存储对象数据的数据结构体标签ID；
·使用该数据的应用主标签字段，包含所有使用该数据的应用主标签；
·关注应用字段，用于标识该数据对应的关注应用主标签；
数据拆解模块，用于对所管理的数据进行拆解，将符合标准数据格式的对象数据至少拆解为对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段，将除对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段以外的其它数据字段保留，作为其它数据字段，与对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段一起组成新的第二结构体，传递至三元存储单元；
网络管理准入模块，接收用户信息采集器的采集结果，接收网管的登录信息并记录登录网管ID；
网管辨识模块，存储各个网管ID及其相应的历史应用操作记录，在收到网络管理准入模块传递的网管ID后，查询tag映射库是否有相应网管ID的记录，若否，基于本地存储的各个网管ID及其相应的历史应用操作记录，将操作次数最多的前N个应用的主标签作为该网管ID的tag记录更新至tag映射库；
Tag映射库，存储了各个网管ID及其相应的tag，所述tag标记了网管最常使用的前N个应用ID，N为预设使用度阈值，表征网管的应用使用偏好，一个网管ID对应于N个tag，每个tag为每个应用的主标签；
Tag锚定模块，接收网管辨识模块传递的网管ID，并基于Tag映射库存储的各个网管ID及其相应的tag确定当前网管ID的对应tag；构造第三结构体，将网管ID作为第三结构体的第一字段，对应tag作为第三结构体的第二字段，将第三结构体传递至三元存储单元；
三元存储单元，接收如下三元对应关系并存储：
第一结构体，存储至第一存储分区；
第二结构体，存储至第二存储分区；
第三结构体，存储至第三存储分区；
一级匹配模块，向三元存储单元发出数据请求，用于请求第一结构体数据以及第二结构体数据，并基于第一结构体数据向第二结构体数据执行查找匹配，并获得匹配结果，建立匹配的第一结构体和第二结构体映射关系，存储于所述一级匹配模块，供用户调用；
二级匹配模块，向三元存储单元发出数据请求，用于请求第一结构体数据以及第二结构体数据，并基于第二结构体数据向第一结构体数据执行查找匹配，并获得匹配结果，建立匹配的第二结构体和第一结构体映射关系，存储于所述二级匹配模块，供用户调用。
其中，所述数据结构体标签，用于标识应用的关注数据结构体，所述应用的关注数据结构体为本应用优先的数据结构体，具体为：
所述数据结构体标签对应于第二结构体的对象数据主标签字段，可通过检查第二结构体的对象数据主标签字段是否等于所述数据结构体标签ID来确定所述第二结构体对应的对象数据是否为该应用的关注数据结构体。
其中，该应用的关注数据结构体具体为：
当该应用与其它应用均可能使用或修改该应用的关注数据结构体时，所述关注数据结构体仅允许该应用的使用或修改，并向其它应用执行访问禁止，将所有对其它应用的调用返回值表达为FALSE。


2.如权利要求1所述互联网资源整合系统，其特征在于：一级匹配模块，向三元存储单元发出数据请求，用于请求第一结构体数据以及第二结构体数据，并基于第一结构体数据向第二结构体数据执行查找匹配，并获得匹配结果，建立匹配的第一结构体和第二结构体映射关系，存储于所述一级匹配模块，供用户调用，具体为：
基于第一结构体的数据结构体标签，向第二结构体的对象数据主标签字段发起查询，并匹配第一结构体的数据结构体标签与第二结构体的对象数据主标签字段，建立用于存储一级匹配的一级匹配映射表，所述一级匹配映射表存在多行记录，且所述一级匹配映射表用于记录第一结构体的数据结构体标签与第二结构体的对象数据主标签字段匹配的第一结构体和第二结构体，并将对应的第一结构体主标签以及第二结构体对象数据主标签字段存入一级匹配映射表的同一行记录中。


3.如权利要求1所述互联网资源整合系统和方法，其特征在于：二级匹配模块，向三元存储单元发出数据请求，用于请求第二结构体数据以及第一结构体数据，并基于第二结构体数据向第一结构体数据执行查找匹配，并获得匹配结果，建立匹配的第二结构体和第一结构体映射关系，存储于所述二级匹配模块，供用户调用，具体为：
基于第二结构体的关注应用字段，向第一结构体的主标签字段发起查询，并匹配第二结构体的关注应用字段与第一结构体的主标签字段，建立用于存储二级匹配的二级匹配映射表，所述二级匹配映射表存在多行记录，且所述二级匹配映射表用于记录第二结构体的关注应用字段与第一结构体的主标签字段匹配的第二结构体和第一结构体，并将对应的第二结构体对象数据主标签字段以及第一结构体主标签存入二级匹配映射表的同一行记录中。


4.如权利要求1所述互联网资源整合系统，其特征在于：
基于所述关注应用字段，执行与第一结构体的主标签字段查找匹配来确定所述主标签对应的应用是否为该数据对象的关注应用。


5.如权利要求4所述互联网资源整合系统和方法，其特征在于：
所述执行与第一结构体的主标签字段查找匹配来确定所述主标签对应的应用是否为该数据对象的关注应用还具有如下后续步骤：
若是，则将该数据单独为所述应用保留另一存储分区，供该关注应用使用或修改、更新，所述另一存储分区不同于数据的原始存储分区；同时，其它应用可以操作、使用、修改或更新该数据的原始分区，防止关注应用受到非关注应用的干扰。


6.一种互联网资源整合方法，所述...

【专利技术属性】
技术研发人员：农怡琳，丘林城，
申请(专利权)人：农怡琳，
类型：发明
国别省市：广西;45