物联网海量数据交换交易架构系统技术方案

本发明专利技术涉及一种物联网海量数据交换交易架构系统，其包括数据存储层，用于接收数据源传输的数据，并将所述数据加密分类存储；数据处理层，接收数据存储层分类后的数据，并将所述数据进行所需的预处理及标准格式化转换，且将所述处理及转换后的数据进行提炼得到所需的格式表示或数据集；数据交换交易层，将数据处理层提炼得到的格式表示或数据集进行发布、查询及交换交易的管理服务，并对管理中产生的数据进行存储。本发明专利技术提高得到物联网海量数据的商业价值，数据处理层能够将相应的物联网海量数据表示为需要的形式，数据交换交易层能够对数据处理层处理后的数据进行交易查询及管理，整个过程中能够确保物联网海量数据的安全可靠性。

【技术实现步骤摘要】

本专利技术涉及一种系统结构，尤其是一种物联网海量数据交换交易架构系统，属于物联网数据处理的

技术介绍
现如今，运用物联网技术的各种智慧城市应用，时刻都有着大量的数据产生。在以应用为牵引的物联网产业的不断发展过程中，所产生的海量数据的量级也从TB(Trillionbyte)急剧增加到PB (PetaByte,)级别，在这些海量数据中包含着很多非常具有商业价值的隐晦信息，同时也存在着大量的无效信息。这些从某个物联网应用所产生的具有商业价值的隐晦信息，通过应用一系列的数据处理技术之后，将可用于其它的某个行业领域，并实现数据的二次增值。比如物联网智能交通应用中所产生的海量交通流数据，通过一系列处理后所得到的有价值信息，可以用在物联网智能物流应用中来实现更加多样化的服务功能。但是在这些物联网海量数据进行转换、处理和迁移的过程中，这些海量数据中包含一些敏感数据或者无效数据，会产生一定的信息安全及服务信任上的问题，这些问题将影响数据的增值化。
技术实现思路
本专利技术的目的是克服现有技术中存在的不足，提供一种物联网海量数据交换交易架构系统，其结构紧凑，经过处理后提高数据交换交易的有效性，安全可靠。按照本专利技术提供的技术方案，所述物联网海量数据交换交易架构系统，包括: 数据存储层，用于接收数据源传输的数据，并将所述数据加密分类存储； 数据处理层，接收数据存储层分类后的数据，并将所述数据进行所需的预处理及标准格式化转换，且将所述处理及转换后的数据进行提炼得到所需的格式表示或数据集； 数据交换交易层，将数据处理层提炼得到的格式表示或数据集进行发布、查询及交换交易的管理服务，并对管理中产生的数据进行存储。所述数据存储层接收数据源传输数据的方式包括IPV6网络、IPV4网络或无线网络。所述数据存储层包括数据隐私保护加密模块，所述数据隐私保护加密模块与物联网海量数据云存储子系统连接，所述物联网海量数据云存储子系统对存储的海量数据进行分类，以得到应用数据集。所述数据处理层包括物联网海量数据预处理及标准化格式转换模块，所述物联网海量数据预处理及标准化格式转换模块净化去除数据存储层中的无效数据及逻辑错误数据，并将需要的数据进行标准化的格式转换，且将处理后的数据传输至数据集内。所述数据处理层包括物联网海量数据预处理及标准化格式转换模块，所述物联网海量数据预处理及标准化格式转换模块的输出端与数据清理子系统及数据精炼子系统连接，所述数据清理子系统及数据精炼子系统的输出端均与数据隐私保护解密模块相连，所述数据隐私保护解密模块的输出端与物联网海量数据描述及表示模块连接；数据清理子系统对物联网海量数据预处理及标准化格式转换模块传输的数据进行需要的清理，数据精炼子系统对物联网海量数据预处理及标准化格式转换模块传输的数据进行所需的提炼，数据隐私保护解密模块对数据清理子系统及数据精炼子系统输入的数据进行解密，物联网海量数据描述及表示模块将数据隐私保护解密模块传输的数据表示为报表、图形或指标的形式输出。所述数据清理子系统包括联列式清理模块、单列式清理模块、设定数据清理模块及数据清理异常处理模块。所述数据精炼子系统包括关联分析模块、聚类分析模块、演变分析模块、特异群组分析模块及数据精炼异常处理模块。所述数据处理层包括物联网海量数据预处理及标准化格式转换模块，所述物联网海量数据预处理及标准化格式转换模块净化去除数据存储层中的无效数据及逻辑错误数据，并将需要的数据进行标准化的格式转换；物联网海量数据预处理及标准化格式转换模块的输出端与数据隐私保护解密模块连接，数据隐私保护解密模块的输出端与物联网海量数据描述及表示模块连接。所述数据交换交易层包括WEB自助服务模块、安全认证模块、资金结算模块、交换交易引擎及交易信息数据库。本专利技术的优点:物联网数据源产生物联网海量数据，数据存储层将物联网海量数据加密及存储分类，数据处理层能够将物联网海量数据进行预处理及格式化转换，且可以对数据进行清理与精炼，以提高得到物联网海量数据的商业价值，数据处理层能够将相应的物联网海量数据表示为需要的形式，数据交换交易层能够对数据处理层处理后的数据进行交易查询及管理，并对相关数据进行存储，整个过程中能够确保物联网海量数据的安全可靠性。附图说明图1为本专利技术的结构框图。附图标记说明:1_数据源、2-数据存储层、3-数据处理层、4-数据交换交易层、5-数据隐私保护加密模块、6-物联网海量数据云存储子系统、7-应用数据集、8-物联网海量数据预处理及标准化格式转换模块、9-数据清理子系统、10-联列式清理模块、11-单列式清理模块、12-设定数据清理模块、13-数据清理异常处理模块、14-数据精炼子系统、15-关联分析模块、16-聚类分析模块、17-演变分析模块、18-特异群组分析模块、19-数据精炼异常处理模块、20-数据隐私保护解密模块、21-物联网海量数据描述及表示模块、22-数据集、23-WEB自助服务模块、24-安全认证模块、25-资金结算模块、26-交换交易弓I擎及27-交易信息数据库。具体实施例方式下面结合具体附图和实施例对本专利技术作进一步说明。如图1所示:为了解决现有物联网海量数据的安全信任及增值问题，本专利技术包括数据存储层2，用于接收数据源I传输的数据，并将所述数据加密分类存储； 数据处理层3，接收数据存储层2分类后的数据，并将所述数据进行所需的预处理及标准格式化转换，且将所述处理及转换后的数据进行提炼得到所需的格式表示或数据集22 ；数据交换交易层4，将数据处理层3提炼得到的格式表示或数据集22进行发布、查询及交换交易的管理服务，并对管理中产生的数据进行存储。其中，数据源I产生物联网海量数据，所述数据源I的数据来源包括传感器、数据库、智能移动终端及互联网等。这些数据来源产生的数据信息，可以是从数据终端生成的实时数据流，也可以是通过用户自己的应用系统汇聚后生成的数据库文件，不管是实时数据流还是数据库文件，都可以通过IPv6、Ipv4或无线网络等多种网络方式传输到架构系统中的数据存储层2内。所述数据存储层2包括数据隐私保护加密模块5，所述数据隐私保护加密模块5与物联网海量数据云存储子系统6连接，所述物联网海量数据云存储子系统6对存储的海量数据进行分类，以得到应用数据集7。数据存储层2接收到物联网海量信息数据后，首先使用数据隐私保护加密模块5对数据进行全同态加密，使物联网海量数据能够在系统的整个数据存储及处理过程中，都能保证数据隐私，避免数据安全的不信任问题。通过加密后的物联网海量数据进入物联网海量数据云存储子系统6内，所述物联网海量数据云存储子系统6可以实现物联网海量数据中单个100G以上的数据文件与单个IM以下的数据文件的高速存储和读取功能；所述物联网海量数据云存储子系统6可以利用现有的存储系统架构实现。物联网海量数据在进入物联网海量数据云存储子系统2后，分别存放在不同物联网应用的数据集中，另外为了海量数据的方便管理，数据集也可以再细分为子数据集。所述数据处理层3包括物联网海量数据预处理及标准化格式转换模块8，所述物联网海量数据预处理及标准化格式转换模块8的输出端与数据清理子系统9及数据精炼子系统14连接，所述数据清理子系统9及数据精炼子系统14的输出端均与数据隐私本文档来自技高网...

【技术保护点】
一种物联网海量数据交换交易架构系统，其特征是，包括：数据存储层（2），用于接收数据源（1）传输的数据，并将所述数据加密分类存储；数据处理层（3），接收数据存储层（2）分类后的数据，并将所述数据进行所需的预处理及标准格式化转换，且将所述处理及转换后的数据进行提炼得到所需的格式表示或数据集（22）；数据交换交易层（4），将数据处理层（3）提炼得到的格式表示或数据集（22）进行发布、查询及交换交易的管理服务，并对管理中产生的数据进行存储。

【技术特征摘要】
1.一种物联网海量数据交换交易架构系统，其特征是，包括: 数据存储层(2 )，用于接收数据源(I)传输的数据，并将所述数据加密分类存储； 数据处理层(3)，接收数据存储层(2)分类后的数据，并将所述数据进行所需的预处理及标准格式化转换，且将所述处理及转换后的数据进行提炼得到所需的格式表示或数据集(22)； 数据交换交易层(4)，将数据处理层(3 )提炼得到的格式表示或数据集(22 )进行发布、查询及交换交易的管理服务，并对管理中产生的数据进行存储。2.根据权利要求1所述的物联网海量数据交换交易架构系统，其特征是:所述数据存储层(2)接收数据源(I)传输数据的方式包括IPV6网络、IPV4网络或无线网络。3.根据权利要求1所述的物联网海量数据交换交易架构系统，其特征是:所述数据存储层(2)包括数据隐私保护加密模块(5)，所述数据隐私保护加密模块(5)与物联网海量数据云存储子系统(6)连接，所述物联网海量数据云存储子系统(6)对存储的海量数据进行分类，以得到应用数据集(7)。4.根据权利要求1所述的物联网海量数据交换交易架构系统，其特征是:所述数据处理层(3)包括物联网海量数据预处理及标准化格式转换模块(8)，所述物联网海量数据预处理及标准化格式转换模块(8)净化去除数据存储层(2)中的无效数据及逻辑错误数据，并将需要的数据进行标准化的格式转换，且将处理后的数据传输至数据集(22 )内。5.根据权利要求1所述的物联网海量数据交换交易架构系统，其特征是:所述数据处理层(3)包括物联网海量数据预处理及标准化格式转换模块(8)，所述物联网海量数据预处理及标准化格式转换模块(8)的输出端与数据清理子系统(9)及数据精炼子系统(14)连接，所述数据清理子系统(9)及数据精炼子系统(14)的输出端均与数据隐私保护解密模块(20)相连，所述...

【专利技术属性】
技术研发人员：葛浩栋，陈曙东，陈岚，
申请(专利权)人：江苏物联网研究发展中心，
类型：发明
国别省市：