一种基于大数据的数据统筹归纳方法技术

本发明专利技术涉及数据安全领域技术领域，且公开了一种基于大数据的数据统筹归纳方法，大数据的数据统筹归纳方法基础的技术包含数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、可视化管理和人机交互端，数据采集的方式有很多种，针对不同类别的信息有不同的采集方式，包括设备监测法和通过人机交互界面进行采集。数据清理通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据，数据信息采集器对常规信息进行压缩处理、存储和上传，数据信息采集器对特殊信息进行清洗、存储和上传，方便人们随时检索查询，实现数据的“增值”。。。

【技术实现步骤摘要】
一种基于大数据的数据统筹归纳方法


[0001]本专利技术涉及数据安全领域
，尤其涉及一种基于大数据的数据统筹归纳方法。

技术介绍

[0002]大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
[0003]从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分,大数据必然无法用单台的计算机进行处理，必须采用分布式架构,如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”,大数据的数据统筹归纳是“加工”环节中必不可少的部份，通过合理的统筹和归纳可以大大实现大数据的“增值”效益。
[0004]为此，我们提出一种基于大数据的数据统筹归纳方法。

技术实现思路

[0005]本专利技术主要是解决上述现有技术所存在的技术问题，提供一种基于大数据的数据统筹归纳方法。
[0006]为了实现上述目的，本专利技术采用了如下技术方案，一种基于大数据的数据统筹归纳方法，大数据技术的体系庞大且复杂，大数据的数据统筹归纳方法基础的技术包含数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、可视化管理和人机交互端；
[0007]数据采集的方式有很多种，针对不同类别的信息有不同的采集方式，包括设备监测法和通过人机交互界面进行采集；
[0008]数据的预处理包括数据分类，大数据又称巨量资料，而巨量资料中不仅包括公开信息还包括加密信息，公开数据信息不需要设置防护，人们可以任意检索获取，而加密信息为需要一定管理身份才可以检索和调取到的数据信息，当数据分类将信息归纳为加密信息后，则需要人们通过指定的管理员系统进入到加密数据库中，从管理员系统中对需要的信息进行检索；
[0009]数据通过采集和处理后形成数据仓库，人们检索数据的方式主要有移动端检索和PC端检索；
[0010]可视化管理是通过将抽象的数据转化成为更加直观、美观的图表，通过数字孪生的方式使数据在虚拟空间中完成映射，在产品研发的过程中，数字孪生可以虚拟构建产品数字化模型，对其进行仿真测试和验证,生产制造时，可以模拟设备的运转，还有参数调整带来的变化。
[0011]作为优选，所述设备监测法是通过外部各种环境检测设备对地理位置的环境信息
进行实时监测，再通过物联网技术上传至地理信息大数据处理终端，使人们通过检索地理位置可以实现对地理位置的实时信息进行快速了解。
[0012]作为优选，所述人机交互界面进行采集是通过设置数据信息采集器可以实现数据自动采集，数据信息采集器包括扫描设备、识别设备和信息清洗。
[0013]作为优选，所述通过数据信息采集器对城市的时间、天气、交通等等时行记录，通过数据信息采集器对采集到的信息进行分类，分为常规信息和特殊信息。
[0014]作为优选，所述数据信息采集器通过识别设备对记录的信息进行规整，数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据，从而使数据格式标准化，异常数据清除，错误纠正，重复数据的清除，数据信息采集器对常规信息进行压缩处理、存储和上传，数据信息采集器对特殊信息进行清洗、存储和上传。
[0015]作为优选，所述数据分类时将信息按加密程度分为多个级别，包括公开数据信息、加密数据信息、保密数据信息。
[0016]作为优选，所述数据分类将不同加密程度的数据信息分类到不同的存储空间，使不同数据信息规整化，同时加密数据信息和保密数据信息可以得到有效的防护，使人们只有能过特点的身份才可以获取相关数据信息，在数据信息共享化的同时也对信息进行了保护和加密。
[0017]作为优选，所述机器学习实现数据精准化推动，不管是移动端还是PC端，人们在高频率检索某一类别信息后，设备会对对使用者身份进行推算和识别，当设备确定识别使用者为未成年身份时，设备将识别信息发送到数据仓库，通过数据仓库将学习的相关数据进行大量推送，通过数据仓库将不适合未成年了解的敏感信息进行锁定，通过精准推送和信息锁定。
[0018]作为优选，所述可视化管理中通过数据可视化工具对于增强数据可读性、协同性有着重要的意义，特别是在交互式数据可视化出现之后，用户可以通过动态的方式深入研究这些图表和图形的细节。
[0019]有益效果
[0020]本专利技术提供了一种基于大数据的数据统筹归纳方法。具备以下有益效果：
[0021](1)、该一种基于大数据的数据统筹归纳方法，传统的人机交互是通过人将各类数据通过计算机输送到互联网上，通过设置数据信息采集器可以实现数据自动采集，数据信息采集器包括扫描设备、识别设备和信息清洗，当对某个城市进行大数据自动采集模式时，对城市的主要道路或主要人群活动位置设置数据信息采集器，通过数据信息采集器对该城市的时间、天气、交通等等时行记录，通过数据信息采集器对采集到的信息进行分类，分为常规信息和特殊信息，当该城市的道路上出现交通事故时，通过数据信息采集器对交通事故的过程进行记录，通过识别设备对记录的信息进行规整，数据清理是通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据，从而使数据格式标准化，异常数据清除，错误纠正，重复数据的清除，数据信息采集器对常规信息进行压缩处理、存储和上传，数据信息采集器对特殊信息进行清洗、存储和上传，方便人们随时检索查询，实现数据的“增值”。
[0022](2)、该一种基于大数据的数据统筹归纳方法，通过各类传感器对环境信息进行采集，如温度传感器、湿度传感器、紫外线强度监测器、光照强度检测器等等，通过外部各种环
境检测设备对地理位置的环境信息进行实时监测，再通过物联网技术上传至地理信息大数据处理终端，使人们通过检索地理位置可以实现对地理位置的实时信息进行快速了解。
[0023](3)、该一种基于大数据的数据统筹归纳方法，数据分类时将信息按加密程度分为多个级别，包括公开数据信息、加密数据信息、保密数据信息，大数据又称巨量资料，而巨量资料中不仅包括公开信息还包括加密信息，公开数据信息不需要设置防护，人们可以任意检索获取，而加密信息为需要一定管理身份才可以检索和调取到的数据信息，例如某人的违法犯罪记录信息，这类信息包含个人隐私，因此此类信息属于加密信息，当数据分类将信息归纳为加密信息后，则需要人们通过指定的管理员系统进入到加密数据库中，从管理员系统中对需要的信息进行检索，通过数据分类将不同加密程度的数据信息分类到不同的存储空间，使不同数据信息规整化，同时加密数据信息和保密数据信息可以得到有效的防护，使人们只有能过特点的身份才可以获取相关数据信息，在数据信息共享化的同时也对信息进行了保护和加密。
[0024](4)、该一种基于大数据的数据统筹归纳方法，通过机器学习实现数据精准化推动，不管是移动端还是PC端，人们在高频率检索某一类别信息后，设备会对对使用者身份进行推算和识别，当本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的数据统筹归纳方法，大数据技术的体系庞大且复杂，其特征在于：大数据的数据统筹归纳方法基础的技术包含数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、可视化管理和人机交互端；数据采集的方式有很多种，针对不同类别的信息有不同的采集方式，包括设备监测法和通过人机交互界面进行采集；数据的预处理包括数据分类，大数据又称巨量资料，而巨量资料中不仅包括公开信息还包括加密信息，公开数据信息不需要设置防护，人们可以任意检索获取，而加密信息为需要一定管理身份才可以检索和调取到的数据信息，当数据分类将信息归纳为加密信息后，则需要人们通过指定的管理员系统进入到加密数据库中，从管理员系统中对需要的信息进行检索；数据通过采集和处理后形成数据仓库，人们检索数据的方式主要有移动端检索和PC端检索；可视化管理是通过将抽象的数据转化成为更加直观、美观的图表，通过数字孪生的方式使数据在虚拟空间中完成映射，在产品研发的过程中，数字孪生可以虚拟构建产品数字化模型，对其进行仿真测试和验证,生产制造时，可以模拟设备的运转，还有参数调整带来的变化。2.根据权利要求1所述的一种基于大数据的数据统筹归纳方法，其特征在于：所述设备监测法是通过外部各种环境检测设备对地理位置的环境信息进行实时监测，再通过物联网技术上传至地理信息大数据处理终端，使人们通过检索地理位置可以实现对地理位置的实时信息进行快速了解。3.根据权利要求1所述的一种基于大数据的数据统筹归纳方法，其特征在于：所述人机交互界面进行采集是通过设置数据信息采集器可以实现数据自动采集，数据信息采集器包括扫描设备、识别设备和信息清洗。4.根据权利要求3所述的一种基于大数据的数据统筹归纳方法，其特征在于：所述通过数据信息采集器对城市的时间、天气、交通等等时行记录，...

【专利技术属性】
技术研发人员：库溢，杨杰，
申请(专利权)人：九天智能科技宁夏有限公司，
类型：发明
国别省市：